hadoop运行wordcount

hadoop fs -mkdir /input
在HDFS中创建input文件目录

hadoop fs -put LICENSE.txt /input
我当前在hadoop的目录下，有个LICENSE.txt的文件，把它放到hdfs的input目录下面

hadoop fs -ls /input
查看文件是否正确传入到/input目录下
hadoop fs -cat /input/LICENSE.txt查看文件内容

执行：hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output
或者绝对路径：
hadoop jar /home/yy/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output

按我前面的配置会卡在mapreduce.Job: Running job

在etc/hadoop/mapred-site.xml中，如果配置

mapreduce.framework.name
yarn

则使用yarn来进行计算，那么必须启动nodemanager,
如果不使用yarn,进行mapreduce.job.tracker配置，也可以用MRv2来执行job，这样就不需要启动nodemanager：

mapreduce.job.tracker
hdfs://192.168.1.51:8001
true


修改后可以正常运行，看到这个就成功了

hadoop fs -ls /output
查看输出结果的目录
hadoop fs -cat /output/part-r-00000
查看输出结果

结果就是对LICENSE.txt文件中单词进行计数统计了，到这就运行完成了。
这时你就可以把这个example导入了eclipse中去试试啦。

---

　　hadoop fs -mkdir /input 在hdfs中创建input文件目录 hadoop fs -put license.txt /input 我当前在hadoop的目录下，有个license.txt的文件，把它放到hdfs的input目录下面 hadoop fs -ls /input 查看文件是否正确传入到/input目录下 hadoop fs -cat /input/license.txt查看文件内容 执行：hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output 或者绝对路径： hadoop jar /home/yy/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output 按我前面的配置会卡在mapreduce.job: running job 在etc/hadoop/mapred-site.xml中，如果配置 <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 则使用yarn来进行计算，那么必须启动nodemanager, 如果不使用yarn,进行mapreduce.job.tracker配置，也可以用mrv2来执行job，这样就不需要启动nodemanager： <property> <name>mapreduce.job.tracker</name> <value>hdfs://192.168.1.51:8001</value> <final>true</final> <property> 修改后可以正常运行，看到这个就成功了 hadoop fs -ls /output 查看输出结果的目录 hadoop fs -cat /output/part-r-00000 查看输出结果 结果就是对license.txt文件中单词进行计数统计了，到这就运行完成了。 这时你就可以把这个example导入了eclipse中去试试啦。