本文共 1079 字,大约阅读时间需要 3 分钟。
- 配置计算调度系统Yarn和计算引擎Map/Reduce
- namenode上配置mapred-site.xml
| < name >mapreduce.framework.name</ name > |
- yarn-site.xml的配置
| < name >yarn.resourcemanager.hostname</ name > < value >master</ value > < name >yarn.nodemanager.aux-services</ name > < value >mapreduce_shuffle</ value > < name >yarn.nodemanager.auxservices.mapreduce.shuffle.class</ name > < value >org.apache.hadoop.mapred.ShuffleHandler</ value > |
- 启动yarn集群start-yarn.sh
- jps观察启动结果
- 可以使用yarn-daemon.sh单独启动resourcemanager和nodemanager
- 通过网页http://master:8088/观察yarn集群
- find /usr/local/hadoop -name *example*.jar 查找示例文件
- 通过hadoop jar xxx.jar wordcount /input /output来运行示例程序
- 通过网页来观察该job的运行情况
- hadoop job -kill job_id --> mapred job -kill job_id mapred job -list
- 经验:yarn-site如果是集中启动,其实只需要在管理机上配置一份即可,但是如果单独启动,需要每台机器一份,在网页上可以看到当前机器的配置,以及这个配置的来源(最好在每台slave中都配置,测试时没有配置slave机器,虽然也可以正常启动,但是master并没有连接到slave上。)
转载于:https://www.cnblogs.com/Jxiaobai/p/6645211.html