hadoop namenode

作者: 吕夫斯基
来源: 51数据库
2020-10-04

相当于一个领导者，负责调度比如你需要存一个640m的文件如果按照64m分块那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上并记录对于关系。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了。。。它主要维护两个map 一个是文件到块的对应关系一个是块到节点的对应关系。。不知道这样解释你能理解不！

　　hdfs有两个核心namenode(一个主节点),datanode（多个从节点），
datanode主要是存储数据的，
namenode一是管理文件系统文件的元数据信息（包括文件名称、大小、位置、属性、创建时间、修改时间等等），二是维护文件到块的对应关系和块到节点的对应关系，三是维护用户对文件的操作信息（文件的增删改查）

　　format就是格式化了，数据已经不在了。

你可以用hadoop fs -lsr看看文件系统里面的文件，要是没有就没有了，不存在你所说的垃圾文件。

　　当于一个领导者，负责调度比如你需要存一个640m的文件如果按照64m分块那么namenode就会把这10个块（这里不考虑副本）它主要维护两个map 一个是文件到块的对应关系一个是块到节点的对应关系。。不知道这样解释你能理解不！

　　一句话：hadoop中任务的调度