博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
马士兵hadoop2.7.3_yarn笔记
阅读量:6705 次
发布时间:2019-06-25

本文共 1079 字,大约阅读时间需要 3 分钟。

  • 配置计算调度系统Yarn和计算引擎Map/Reduce
  • namenode上配置mapred-site.xml
    1
    2
    3
    4
    5
    <
    property
    >
        
    <
    name
    >mapreduce.framework.name</
    name
    >
        
    <
    value
    >yarn</
    value
    >
    </
    property
    >
  • yarn-site.xml的配置
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    <
    property
    >
        
    <
    name
    >yarn.resourcemanager.hostname</
    name
    >
        
    <
    value
    >master</
    value
    >
    </
    property
    >
     
    <
    property
        
    <
    name
    >yarn.nodemanager.aux-services</
    name
        
    <
    value
    >mapreduce_shuffle</
    value
    </
    property
     
    <
    property
    >
        
    <
    name
    >yarn.nodemanager.auxservices.mapreduce.shuffle.class</
    name
    >
        
    <
    value
    >org.apache.hadoop.mapred.ShuffleHandler</
    value
    >
    </
    property
    >
  • 启动yarn集群start-yarn.sh
  • jps观察启动结果
  • 可以使用yarn-daemon.sh单独启动resourcemanager和nodemanager
  • 通过网页http://master:8088/观察yarn集群
  • find /usr/local/hadoop -name *example*.jar 查找示例文件
  • 通过hadoop jar xxx.jar wordcount /input /output来运行示例程序
  • 通过网页来观察该job的运行情况
  • hadoop job -kill job_id --> mapred job -kill job_id mapred job -list
  • 经验:yarn-site如果是集中启动,其实只需要在管理机上配置一份即可,但是如果单独启动,需要每台机器一份,在网页上可以看到当前机器的配置,以及这个配置的来源(最好在每台slave中都配置,测试时没有配置slave机器,虽然也可以正常启动,但是master并没有连接到slave上。)

转载于:https://www.cnblogs.com/Jxiaobai/p/6645211.html

你可能感兴趣的文章
JAVA 静态变量与静态代码块
查看>>
C#调用WebKit内核
查看>>
0023-HOSTS配置问题导致集群异常故障分析
查看>>
丧心病狂的Android混淆文件生成器
查看>>
重载和重写的区别?
查看>>
「镁客早报」我国成功发射第四十二、四十三颗北斗导航卫星;北京中关村集成电路设计院开园运营...
查看>>
Python之每日一练生成激活码
查看>>
渐变画刷示例
查看>>
实时应急通讯的帮手——北斗天地对讲机
查看>>
eclipse 配置Android开发环境
查看>>
django 1.8 官方文档翻译: 1-2-6 编写你的第一个Django应用,第6部分
查看>>
JavaScript 复杂判断的更优雅写法
查看>>
MeasureOverride 和 ArrangeOverride
查看>>
Salesforce如何在人工智能领域“杀出一条血路”?
查看>>
Redisson实现Redis分布式锁的N种姿势
查看>>
kafka-storm 详细
查看>>
WebStorm 2019.1 正式发布,为 JS 和 TS 提供更好的智能感知
查看>>
Docker 常用命令总结
查看>>
使用Python请求http/https时设置失败重试次数
查看>>
系统中信息的表示和处理 --《深入理解计算机系统》第二章读书笔记
查看>>