用户登录
用户注册

分享至

hadoop分布式文件系统

  • 作者: 亖呉?盀
  • 来源: 51数据库
  • 2020-10-03
分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。

Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统,与MapReduce和Google档案系统的概念类似。
HDFS(Hadoop 分布式文件系统)是其中的一部分。



  一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。



  Hdfs分布式文件系统 就是hadoop开源云平台中的文件系统,是其最关键的技术 解决文件分块存储、索引等



  一台一台的电脑上你都装好了hadoop,每台电脑有相同的用户名,密码。然后其中一台电脑作为master其余电脑作为slave(这个要在安装hadoop后进行配置)。在master这台电脑上启动hadoop,其余的电脑也就都跟着启动了。这样当你把文件导入到hadoop的时候,这个文件是分布的存储在你的这些hadoop电脑上的,至于怎么存,存在哪几台电脑,我们是不需要关心的,会自动给我们处理。这就是所谓的hadoop分布式文件系统。希望能帮到你~~~:)
软件
前端设计
程序设计
Java相关