hadoop ha

作者: 弟子段草
来源: 51数据库
2020-09-24

用程序随即生成的，用一个只有map，没有reduce的MapReduce job，在整个集群上先随即生成100亿行数据。然后，在这个基础上，再运行排序的MapReduce job，以测试集群排序性能。

　　先用hdfsgetpathinfo 得到一个hdfsfileinfo类型的结构体， get_real_path(dsh, s, real_path); hdfsfileinfo * pt_hdfs_file_info = hdfsgetpathinfo(hdfs,real_path);// 这个结构体中有个kind属性，就是来区分是文件还是目录 typedef struct

推荐阅读