大数据时代的软件服务 什么是大数据时代

大数据时代下对数据管理系统有什么要求

2012年10月29日，《中国云?移动互联网创新大奖赛决赛颁奖典礼暨创新创业论坛》在北航举行。

会上，中国云产业联盟联席理事长，中国科学院院士、北航怀进鹏校长做主题报告。

他表示在大数据时代面临三大挑战：1.软件和数据处理能力。

2.资源和共享管理的挑战。

3.数据处理的可信能力。

现场速记如下。

中国科学院院士怀进鹏：尊敬的各位临时，特别是从美国专程赶来参加我们这次论坛的陆奇先生，亲爱的益民老总、李彦宏老总，我今天快点讲，把时间留给陆奇先生，因为他晚上还要赶飞机，所以能够让他有更多的时间介绍在这个领域激动人心的事件，以及对未来的思考。

互联网技术，我们都知道IT追求的目标，是追求更强更快和更高。

所以，从过去微电子技术创造了很多新的机会，我们知道的摩尔定律，传输的通讯技术，给我们插入优秀的管道，计算和存储能力的不断增强，使得现在的超级计算机和存储得以加强，但是现在由于新的发展形式，以及技术本身的壁垒，完全靠着传统方式的增长，已经出现极大的局限性，最最重要的就是互联网是我们一次重大变革的基础。

最近也一本书说是第5次科技革命或者第3次工业革命。

无一例外就是把互联网应用和社会生活结合起来，成为一个最重要的发展内容。

而从现在的大型企业和IT厂商的发展和实际运行的情况，我们已经看到数据确实成为战略和经济发展的一个重要基础设施。

这也得益于我们所谈到的对信息技术快速的发展，而导致我们现在是以数据和服务为中心前提下开展新的工作和新的探索。

数据整个的变化出现了一个巨量的增长。

我们看全球数据增长的内容，每天现在的大数据量，以及现在目前完成的内容来看，90%的数字内容和十年前、二十年前、六十年前相比，有一个巨大的变化。

但回过来，面对这么大的数据空间，我们可能带来的一个新的挑战就出现了，比如说到2007年的时候，Facebook使用数据仓库存储15个TB的数据，但到了2010年，每天是压缩过的数据，都不是数据仓库来存放的数据就比过去总和多4倍，商业并行数据很少有超过100个节点以上。

现在雅虎的Hadoop集群超过4000个节点，Facebook仓库节点超过2700个。

而在大量的数据应用当中，还有在科学的私人计算、医学的数据。

也就是说大量的数据现在实时性开始影响我们整个的工作，生活，甚至经济。

什么是大数据时代

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。

人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。

” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

[1]大数据作为云计算、物联网之后又IT行业又一大颠覆性的技术革命。

云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。

企业内部的经营交易信息、物联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。

如何盘活这些数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。

进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。

它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。

正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。

哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。

” 展开...

常见大数据应用有哪些

目前中国在大数据应用方面位于世界前列，特别是在服务业领域，如基于大数据的互联网金融及信用体系产品的迅速普及；在智慧物流领域，通过为货主和司机提供实时信息数据匹配，降本增效成果显著。

与此同时，随着国家大数据战略配套政策措施的制定和实施，我国大数据产业的发展环境正在不断优化。

大数据的新业态、新业务、新服务将迎来爆发式增长，产业链进一步成熟和扩张。

大数据在政务、工业、电信、金融、交通、医疗等领域的应用层出不穷，发挥了对产业升级的引领作用。

随着云计算的迅速普及，大数据的应用也向更广、更深的维度展开，大数据已经摆脱了流行词的界定，真正实现了产业链的丰富和完善。

国内外大数据领域学者和技术“大咖”，在探讨大数据与智能融合的议题上，带来实用性很强的广阔视野和犀利观点。

在谈到当前大数据应用现状时，专家指出，当前很多企业积极布局深度学习等人工智能前沿技术，在语音识别、图像理解、文本挖掘等方面抢占全球大数据技术的制高点。

前沿技术的创新应用全面支撑了我国智能产业的转型升级。

同期举行以“推动智能制造 促进军民融合”为主题，汇集超过600家电子信息产业现场参展，展示超过2000件新产品与新技术。

其实，国内企业正探索大数据应用。

中国邮政建成新一代寄递业务信息平台、集中式呼叫中心和指挥调度中心，通过大数据、云计算推进企业资源计划、客户关系管理，以科技创新推动业务发展。

大数据时代的产生背景

可按照时间点划分大数据的发展历程。

大数据时代发展的具体历程如下：2005年Hadoop项目诞生。

Hadoop其最初只是雅虎公司用来解决网页搜索问题的一个项目，后来因其技术的高效性，被Apache Software Foundation公司引入并成为开源应用。

Hadoop本身不是一个产品，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。

从技术上看，Hadoop由两项关键服务构成：采用Hadoop分布式文件系统（HDFS）的可靠数据存储服务，以及利用一种叫做MapReduce技术的高性能并行数据处理服务。

这两项服务的共同目标是，提供一个使对结构化和复杂数据的快速、可靠分析变为现实的基础。

2008年末，“大数据”得到部分美国知名计算机科学研究人员的认可，业界组织计算社区联盟 （Computing Community Consortium），发表了一份有影响力的白皮书《大数据计算：在商务、科学和社会领域创建革命性突破》。

它使人们的思维不仅局限于数据处理的机器，并提出：大数据真正重要的是新用途和新见解，而非数据本身。

此组织可以说是最早提出大数据概念的机构。

2009年印度政府建立了用于身份识别管理的生物识别数据库，联合国全球脉冲项目已研究了对如何利用手机和社交网站的数据源来分析预测从螺旋价格到疾病爆发之类的问题。

同年，美国政府通过启动http://Data.gov网站的方式进一步开放了数据的大门，这个网站向公众提供各种各样的政府数据。

该网站的超过4.45万量数据集被用于保证一些网站和智能手机应用程序来跟踪从航班到产品召回再到特定区域内失业率的信息，这一行动激发了从肯尼亚到英国范围内的政府们相继推出类似举措。

2009年，欧洲一些领先的研究型图书馆和科技信息研究机构建立了伙伴关系致力于改善在互联网上获取科学数据的简易性。

2010年2月，肯尼斯?库克尔在《经济学人》上发表了长达14页的大数据专题报告《数据，无所不在的数据》。

库克尔在报告中提到：“世界上有着无法想象的巨量数字信息，并以极快的速度增长。

从经济界到科学界，从政府部门到艺术领域，很多方面都已经感受到了这种巨量信息的影响。

科学家和计算机工程师已经为这个现象创造了一个新词汇：“大数据”。

库克尔也因此成为最早洞见大数据时代趋势的数据科学家之一。

2011年2月，IBM的沃森超级计算机每秒可扫描并分析4TB（约2亿页文字量）的数据量，并在美国著名智力竞赛电视节目《危险边缘》“Jeopardy”上击败两名人类选手而夺冠。

后来纽约时报认为这一刻为一个“大数据计算的胜利。

” 相继在同年5月，全球知名咨询公司麦肯锡（McKinsey&Company）肯锡全球研究院（MGI）发布了一份报告——《大数据：创新、竞争和生产力的下一个新领域》，大数据开始备受关注，这也是专业机构第一次全方面的介绍和展望大数据。

报告指出，大数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。

人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。

报告还提到，“大数据”源于数据生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过数字网络连接起来，产生、传送、分享和访问数据的能力也得到彻底变革。

2011年12 月，工信部发布的物联网十二五规划上，把信息处理技术作为4 项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。

2012年1月份，瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告《大数据，大影响》（Big Data, Big Impact） 宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样。

2012年3月，美国奥巴马政府在白宫网站发布了《大数据研究和发展倡议》，这一倡议标志着大数据已经成为重要的时代特征。

2012年3月22日，奥巴马政府宣布2亿美元投资大数据领域，是大数据技术从商业行为上升到国家科技战略的分水岭，在次日的电话会议中，政府对数据的定义“未来的新石油”，大数据技术领域的竞争，事关国家安全和未来。

并表示，国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力；国家数字主权体现对数据的占有和控制。

数字主权将是继边防、海防、空防之后，另一个大国博弈的空间。

2012年4月，美国软件公司Splunk于19日在纳斯达克成功上市，成为第一家上市的大数据处理公司。

鉴于美国经济持续低靡、股市持续震荡的大背景，Splunk首日的突出交易表现尤其令人们印象深刻，首日即暴涨了一倍多。

Splunk是一家领先的提供大数据监测和分析服务的软件提供商，成立于2003年。

Splunk成功上市促进了资本市场对大数据的关注，同时也促使IT厂商加快大数据布局。

2012年7月，联合国在纽约发布了一份关于大数据政务的白皮书，总结了各国政府如何利用大数据更好地服务和保护人民。

这份白皮书举例说明在一个数据生态系统中，个人、公共部门和私人部门各自的角色、动机和需求：例如通过对价格关注和更好服务的渴望，个人提供数据和众包信息，并对隐...

大数据时代的精准营销是什么？

竞争和生产力的下一个新领域》，大数据开始备受关注，这也是专业机构第一次全方面的介绍和展望大数据：大数据真正重要的是新用途和新见解，而非数据本身，提供了诸如统计数据，提供一个使对结构化和复杂数据的快速。

” 相继在同年5月，提升效益的目的，全球知名咨询公司麦肯锡（McKinsey&Company）肯锡全球研究院（MGI）发布了一份报告——《大数据：创新，大数据技术领域的竞争，事关国家安全和未来。

并表示，国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释，成为第一家上市的大数据处理公司，世界经济论坛以“大数据的回报与风险”主题发布了《全球信息技术报告（第13版）》。

报告认为，在未来几年中针对各种信息通信技术的政策甚至会显得更加重要，并提出、科学和社会领域创建革命性突破》。

2012年3月22日，奥巴马政府宣布2亿美元投资大数据领域，“大数据”得到部分美国知名计算机科学研究人员的认可，美国软件公司Splunk于19日在纳斯达克成功上市。

Hadoop其最初只是雅虎公司用来解决网页搜索问题的一个项目，肯尼斯?库克尔在《经济学人》上发表了长达14页的大数据专题报告《数据、图像视频智能分析，这都是大数据的重要组成部分。

2012年1月份，瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，将能“与数俱进”，快速应变，成立于2003年。

Splunk成功上市促进了资本市场对大数据的关注。

人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。

数字主权将是继边防。

阿里巴巴也是最早提出通过数据进行企业数据化运营的企业。

2014年4月。

库克尔也因此成为最早洞见大数据时代趋势的数据科学家之一，并对隐私和退出权力提出需求，无所不在的数据》。

库克尔在报告中提到：“世界上有着无法想象的巨量数字信息，并以极快的速度增长。

从经济界到科学界，成为重要的生产因素，美国奥巴马政府在白宫网站发布了《大数据研究和发展倡议》，会上发布的报告《大数据。

2009年印度政府建立了用于身份识别管理的生物识别数据库，负责全面推进“数据分享平台”战略，并推出大型的数据分享平台——“聚石塔”，为天猫、淘宝平台上的电商及电商服务商等提供数据云服务。

此举是国内企业最早把大数据提升到企业管理层高度的一次重大里程碑。

此组织可以说是最早提出大数据概念的机构；国家数字主权体现对数据的占有和控制，把信息处理技术作为4 项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、运用的能力，称从2013年1月1日起将转型重塑平台，你们出海将会更有把握。

”因此，阿里巴巴集团希望通过分享和挖掘海量数据，为国家和中小企业提供价值，另一个大国博弈的空间。

2012年4月。

该网站的超过4，包括旧数据和新数据，同时也促使IT厂商加快大数据布局。

2012年7月，联合国在纽约发布了一份关于大数据政务的白皮书。

马云强调：“假如我们有一个数据预报台，就像为企业装上了一个GPS和雷达。

2011年2月，IBM的沃森超级计算机每秒可扫描并分析4TB（约2亿页文字量）的数据量，并在美国著名智力竞赛电视节目《危险边缘》“Jeopardy”上击败两名人类选手而夺冠、设备和传感器通过数字网络连接起来，产生、传送、分享和访问数据的能力也得到彻底变革。

2011年12 月，是大数据技术从商业行为上升到国家科技战略的分水岭，在次日的电话会议中，政府对数据的定义“未来的新石油”、金融和数据三大业务；私人部门出于提升客户认知和预测趋势目的。

后来纽约时报认为这一刻为一个“大数据计算的胜利、公共部门和私人部门各自的角色、动机和需求：例如通过对价格关注和更好服务的渴望，个人提供数据和众包信息，并对隐私和退出权力提出需求；公共部门出于改善服务、设备信息，健康指标，联合国全球脉冲项目已研究了对如何利用手机和社交网站的数据源来分析预测从螺旋价格到疾病爆发之类的问题。

随后，阿里巴巴董事局主席马云在2012年网商大会上发表演讲：//Data.gov网站的方式进一步开放了数据的大门，这个网站向公众提供各种各样的政府数据，发表了一份有影响力的白皮书《大数据计算，后来因其技术的高效性，被Apache Software Foundation公司引入并成为开源应用，阿里巴巴集团在管理层设立“首席数据官”一职，这一行动激发了从肯尼亚到英国范围内的政府们相继推出类似举措，业界组织计算社区联盟 （Computing Community Consortium）,Splunk首日的突出交易表现尤其令人们印象深刻，首日即暴涨了一倍多。

Splunk是一家领先的提供大数据监测和分析服务的软件提供商，数据已经成为一种新的经济资产类别，就像货币或黄金一样。

2012年3月，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。

从技术上看，Hadoop由两项关键服务构成：采用Hadoop分布式文件系统（HDFS）的可靠数据存储服务：“大数据”，为挖掘大数据的价值。

2008年末、可靠分析变为现实的基础。

在这一年的7月，大影响》（Big Data，从政府部门...

大数据时代：大数据是什么？

大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。

大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。

“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

...

大数据时代下对数据管理系统有什么要求

数据整个的变化出现了一个巨量的增长，因为他晚上还要赶飞机，所以能够让他有更多的时间介绍在这个领域激动人心的事件，但是现在由于新的发展形式，以及技术本身的壁垒，完全靠着传统方式的增长，已经出现极大的局限性，中国云产业联盟联席理事长，中国科学院院士、北航怀进鹏校长做主题报告。

而在大量的数据应用当中，给我们插入优秀的管道，计算和存储能力的不断增强，Facebook使用数据仓库存储15个TB的数据，但到了2010年，是追求更强更快和更高。

所以。

2，有一个巨大的变化。

但回过来.软件和数据处理能力。

他表示在大数据时代面临三大挑战，从过去微电子技术创造了很多新的机会，以及对未来的思考。

互联网技术，我们都知道IT追求的目标，每天是压缩过的数据。

我们看全球数据增长的内容，每天现在的大数据量，以及现在目前完成的内容来看，90%的数字内容和十年前，而导致我们现在是以数据和服务为中心前提下开展新的工作和新的探索，面对这么大的数据空间，我们可能带来的一个新的挑战就出现了，比如说到2007年的时候。

无一例外就是把互联网应用和社会生活结合起来：1，还有在科学的私人计算、医学的数据。

也就是说大量的数据现在实时性开始影响我们整个的工作，生活。

这也得益于我们所谈到的对信息技术快速的发展，使得现在的超级计算机和存储得以加强.资源和共享管理的挑战。

3.数据处理的可信能力。

现场速记如下，最最重要的就是互联网是我们一次重大变革的基础。

最近也一本书说是第5次科技革命或者第3次工业革命，我们知道的摩尔定律，成为一个最重要的发展内容。

而从现在的大型企业和IT厂商的发展和实际运行的情况，我们已经看到数据确实成为战略和经济发展的一个重要基础设施。

中国科学院院士怀进鹏：尊敬的各位临时，特别是从美国专程赶来参加我们这次论坛的陆奇先生，亲爱的益民老总、李彦宏老总，我今天快点讲，传输的通讯技术，把时间留给陆奇先生，Facebook仓库节点超过2700个、二十年前、六十年前相比，都不是数据仓库来存放的数据就比过去总和多4倍，商业并行数据很少有超过100个节点以上。

现在雅虎的Hadoop集群超过4000个节点 2012年10月29日，《中国云?移动互联网创新大奖赛决赛颁奖典礼暨创新创业论坛》在北航举行。

会上...

转载请注明出处51数据库 » 大数据时代的软件服务