hadoop在腾讯

作者: 記住莪給妳嘚承諾
来源: 51数据库
2020-10-03

提供海量数据存储zd和计算的。需要java语言基础。
Hadoop实现了一个分布zd式文件系统（Hadoop Distributed File System），简称HDFS。有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供专高吞吐量来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算属回。

　　hadoop工程师主要是偏开发层面，指的是围绕大数据系平台系统级的研发人员，熟练hadoop大数据平台的核心框架，能够使用hadoop提供的通用算法，
熟练掌握hadoop整个生态系统的组件如：yarn，hbase、hive、pig等重要组件，能够实现对平台监控、辅助运维系统的开发。

不管是国外的著名公司google、yahoo!、微软、亚马逊、
ebay、facebook、twitter、linkedin等和初创公司cloudera、hortonworks等，亦或是国内的著名公司中国移动、阿里巴巴、华为、腾讯、百度、网易、京东商城等，都在使用hadoop及相关技术解决大规模化数据问题，以满足公司需求和创造商业价值。