大数据时代的软件技术

作者: 屌不屌_屌
来源: 51数据库
2020-04-15

大数据时代,那么一般通过什么方法（软件）收集、分析和可视化数据...

数据是平台运营商的重要资产，可能提供API接口允许第三方有限度地使用，但是显然是为了增强自身的业务，与此目的抵触的行为都会受到约束。

收集数据主要是通过计算机和网络。

凡是经过计算机处理的数据都很容易收集，比如浏览器里的搜索、点击、网上购物、……其他数据（比如气温、海水盐度、地震波）可以通过传感器转化成数字信号输入计算机。

收集到的数据一般要先经过整理，常用的软件：Tableau和Impure是功能比较全面的，Refine和Wrangler是比较纯粹的数据整理工具，Weka用于数据挖掘。

Hadoop是一个能够对大量数据进行分布式处理的软件框架。

用于统计分析的R语言有个扩展R + Hadoop，可以在Hadoop集群上运行R代码。

更具体的自己搜索吧。

可视化输出的工具很多。

建议参考wikipedia的“数据可视化”条目。

Tableau、Impure都有可视化功能。

R语言也可以绘图。

还有很多可以用来在网页上实现可视化输出的框架或者控件。

大致基于四种技术：Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)Flash的有Degrafa、BirdEye、Axiis、Open Flash ChartJS的有Ajax.org、Sencha Ext JS、Filament、jQchart、Flot、Sparklines、gRaphael、TufteGraph、Exhibit、PlotKit、ExplorerCanvas、MilkChart、Google Chart API、ProtovisJava的有Choosel、google-visualization-java、GWT Chronoscope、JFreeChartASP.NET的有Telerik Charts、Visifire、Dundas Chart目前我比较喜欢d3(Data-Driven Documents)，图形种类丰富，有交互能力，你可以去d3js.org看看，有很多种图形的demo。

大数据时代需要学习什么技术

大数据时代需要学习数据的存储和处理技术。

大数据的存储主要是一些分布式文件系统，现在有好些分布式文件系统。

比较火的就是GFS,HDFS前者是谷歌的内部使用的，后者是根据谷歌的相关论文用java开发的来源框架。

hdfs可以学习。

然后就是数据处理是学mapreduce，这是大数据出的不错的实现，可以基于hdfs实现大数据处理和优化存储。

还有一个比较好的列式存储的数据库hbase，也是为了大数据儿生的非关系型数据库。

然后就是一些辅助工具框架，比如：hive,pig,zookeeper,sqoop,flum。

大数据时代：大数据是什么？

大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

*在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。

大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。

*对于“大数据”（Big data）研究机构Gartner给出了这样的定义。

“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

*根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

*大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

*不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。

著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。

”这确实是需要警惕的。

参考：http://baike.baidu.com/link?url=Tz_fc3Sn3OHzifZiiohLAx9e5a2KWkAXY4aeV03YGdkwVReQ_DlcCPXAMALxuCwp9TlCcTb5PdNWqWJ167KdVbtnOUpRM7tfyu1QBNDIl-O

为什么需要大数据技术？

大数据到底是什么？我们为什么需要大数据技术？Mike Jude：从本质上来说，大数据就是曾经被称为数据仓库的逻辑延伸。

顾名思义，大数据就是一个大型的数据仓库，一般有一个能支持业务决策的业务重点。

但是，它和传统数据库不同的是，大数据不用构建。

在典型的数据库中，数据会被组织成标准的字段，并使用特定的密钥索引。

如果你熟悉Microsoft Access应用程序，那么你就能完全理解这个概念。

比如，一个顾客记录可以由姓氏、名字、地址和其它信息组成有通用标签的字段。

每个顾客记录样式都是相同的，这样可以通过使用搜索关键词来检索，比如搜索姓氏。

现在，如果你想链接到这些客户记录需要怎么做？链接到客户的图片或者视频呢？如果是链接到客户的所有记录呢？将这么多不同的数据源互相映射，一般的数据库还做不到。

另外，需要链接的数据量是非常巨大的。

这就产生了“大数据”的概念。

大数据使用特殊的数据结构来组织和访问巨大数量的数据，可能达到多个艾字节的范围。

一般情况下，这需要跨多个服务器和离散数据存储进行并行计算，而小企业往往难以维持这种大数据的存储库。

但是，大数据正逐渐成为云服务提供商能提供的一种服务，从而把大数据应用推向更多的公司。

但是，还有一个“大”问题，就是我们为什么需要大数据？答案就是相关性的价值。

如果你能看到乍一看似乎没什么关系的数据设置之间的关系，你会获取很多重要信息。

比如你想知道你的公司是不是容易被黑客利用。

那么你需要跨多个应用程序和数据中心检查无数条交易。

这时如果没有大数据技术和相关的分析技术，这几乎是不可能完成的。

最终，随着数据量的增长、业务的可用性和重要性的增加，大数据的定义可能会用来描述大多数数据库应用。

IT专业人士应该掌握大数据相关概念和术语，以免遇到困难。

什么是大数据时代

展开全部什么是大数据时代：利用相关算法对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活。

大数据无处不在，社会各行各业都可以找到大数据的印记，在金融，餐饮，电信，体育，娱乐等领域都可以感受到大数据对各行各业的影响大数据的特点：1、更多，更乱，但内部有关系可循。

示例：大约20年前，亚马逊刚成立时，杰夫·贝索斯让50个书评员来为他卖书，他意识到不仅仅可以请人来写书评，还可以用数据技术来提供图书推荐。

起初他使用的是小数据，不是大数据，把客户进行分类，比如说有人对中国旅游或者是对园艺感兴趣，系统会自动提供推荐。

他的同事告诉他，刚刚开始使用这个数据推荐时，使用体验并不好；在进一步分析后，亚马逊决定不对人进行分类，而是对用户的需求分类。

这个做法做法非常成功，以至于到今天，推荐系统为亚马逊带去30%的销售收入。

这就是数据收集和再处理。

亚马逊有交易数据，每买一本书就是一个交易，然后对这个数据进行分析。

但今天我们已不再满足于交易数据了，转而收集起沟通数据。

你看了某一个书评、某一个交流会给商家更多的信息和细节。

2、数据可以被重复使用（数据的产生和收集本身并没有直接产生服务，最具价值的部分在于：当这些数据在收集以后，会被用于不同的目的，数据被重新再次使用）示例：比方说这家公司实时车辆交通数据采集商Inrix，该公司目前有1亿个手机端用户。

Inrix可以帮助你开车，避开堵车，为司机呈现路的热量图，红的就表面堵车。

如果只提供数据，这个产品没什么特色，但值得一提的是，Inrix并没有用交警的数据，这个软件的每位用户在使用过程中会给服务器发送实时数据，比如走的多快，走到哪里，这样每个客户都是探测器。

大数据时代的思维：每天早上起来想一下，这么多数据我能用来干什么，这些价值在哪里可以找到，能不能找到一个别人以前都没有做过的事情。

你的想法和思路，是最重要的资产。

示例：我们可以通过大数据来确定哪些地方会有火灾。

以前防火检查员只有13%的时间可以准备预测，现在他们找到火灾隐患的概率达到了70%，比以前提高了6倍。

将效率提高6倍是一个巨大无比的进步，未来的公共服务业可以由此获得更多便利。

...

大数据应用到底是做什么的？

对于“大数据”，研究机构Gartner给出了这样的定义。

“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。

大数据必然无法用单台的计算机进行处理，必须采用分布式架构。

它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

随着云时代的来临，大数据也吸引了越来越多的关注。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

大数据分析软件包含哪些技术

提起大数据，自然无法绕过Hadoop大数据平台。

不过既然你问的是“大数据分析软件”，那我就以宇动源科技公司的宇加产品平台为例说说吧。

宇加产品是一站式大数据应用平台，从功能上来说包含了从数据采集、数据集成到数据分析和展示等全面的数据处理功能，从技术上来说主要包括：内存计算、列存储、MPP技术等，并且深度集成了Hadoop家族，能够对非结构化数据或海量数据进行完美处理。

其实我不太清楚你想问什么，可以继续补充哦~~~

大数据时代是什么意思的？

展开全部最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。

人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。

” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

...

大数据时代的管理信息系统发展趋势

“人类正从IT时代走向DT时代，”2014年三月在北京举行的一场大数据产业推介会上，阿里巴巴集团创始人马云在主题演讲中发表了他的这一最新观点。

这个被视为商界传奇的中国电子商务创始人，同时透露了阿里巴巴未来将加大在无线客户端和大数据平台及人才的投入意向。

“阿里巴巴是大数据的红利获得者。

”在演讲开头，马云就为阿里巴巴集团从去年开始推出余额宝等互联网金融产品而引发世界关注做出了战略“解密”——这源起于阿里巴巴从五年前开始推出的大数据、云计算战略。

“从五年前开始，我们在云计算上面押了很多宝，才诞生了互联网金融，如果没有数据支持，互联网金融是不可想象的。

”马云提出，人类已经从IT时代走向DT时代，IT时代是以自我控制、自我管理为主，而DT(Datatechnology)时代，它是以服务大众、激发生产力为主的技术。

这两者之间看起来似乎是一种技术的差异，但实际上是思想观念层面的差异。

“未来的竞争不再将按照电力等能源拥有对区域竞争进行划分，今后拼的是人才和创新价值的能力，拼的是你的数据能够给社会创造多少价值，用数据挣钱才是未来真正核心所在，靠控制成本做生意，我估计以后这样的生意做不好，做不大。

”业界分析认为，从马云此番表态以及阿里巴巴现有的产业布局来看，未来，包括数据处理、综合处理、语音识别、商业智能软件等在内的线下数据采集整合，将成为阿里巴巴的下一步发展重点。

随着大数据技术的快速发展，企业和政府部门开始已经开始运用大数据来进行业务的分析、预测和决策。

最近国家相关部门就实施国家大数据战略进行第二次集体学习，体现了国家对大数据的重视。

那么，在即将到来的2018年，大数据将有哪些发展趋势呢？1、机器学习继续成为智能分析核心技术近年来，机器学习已经开始渗透到生活各个领域：客服机器人、垃圾邮件过滤、人脸识别、语音识别、个性化推荐……随着大数据分析能力的不断提高，2018年机器学习将继续在智能分析方面发挥重要作用。

2、多种科技和学科交叉融合大数据技术的发展不仅能够将网络计算中心、移动网络技术和物联网、云计算等新型尖端网络技术充分地融合成一体，促进不同科学技术的交叉融合，同时还能够促进多学科的交叉融合，充分发挥出交叉学科和边缘学科在新时代的新功能与效用。

3、政府大数据将迅速发展近日，国家相关部门就实施国家大数据战略进行第二次集体学习，指出将推动实施国家大数据战略，加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国经济社会发展和人民生活改善。

因此，2018年政府将步入大数据建设快速发展的新阶段。

4、物联网、云技术、大数据和网络安全深度融合数据管理技术，如数据质量控制、数据准备、数据分析以及数据整合等方面的融合程度将在2018年达到新的高度。

当我们对智能设备的依赖程度增加时，互通性以及机器学习将会成为保护资产免遭网络安全危害的重要手段。

5、基于知识图谱的大数据应用将成为热门应用场景知识图谱的应用场景非常广泛，比如搜索、问答、推荐系统、反欺诈、不一致性验证、异常分析、客户管理等。

2018年，基于知识图谱的大数据应用将衍生出更多热门应用场景。

6、隐私的保护与大数据的安全备受关注大数据应用在带来便利的同时，也暴露了一系列问题，人们开始担心个人信息的安全，骚扰电话、账户盗用、地址泄露……如何保护隐私大数据也将提上日程。

综上所述，大数据持续上升的发展趋势已经不可阻挡，更多的企业和人都在逐步逐步重视这块。