3、环境搭建-Linux上hadoop的全分布配置

大数据 Hadoop全分布 配置文件配置

安装配置hadoop和jdk

配置/usr/local/src/hadoop/etc/hadoop/下的四个文件

<configuration> <property> <!-- 文件系统主机和端口 --> <name>fs.defaultFS</name> <value>hdfs://192.168.150.81:9000</value> </property> <property> <!-- 流文件缓冲区大小 --> <name>io.file.buffer.size</name> <value>131072</value> </property> <property>、 <!-- 临时文件夹 --> <name>hadoop.tmp.dir</name> <value>file:/usr/local/src/hadoop/tmp</value> </property></configuration>

<configuration> <property> <!-- RM提供给客户端访问的地址，客户端通过其提交应用程序，杀死程序等 --> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <!-- 定义历史服务器地址端口，通过其查看已完成的Mapreduce作业 --> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <!-- RM提供给NodeManager的地址，NM通过其向RM汇报心跳，领取任务等 --> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <!-- RM提供给管理员的访问地址，管理员通过其向RM发送管理员命令 --> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <!-- RM对web服务提供的地址。用户通过其在浏览器中查看集群各类信息 --> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> <property> <!-- 用户自定义服务，如Map-Reduce的shuffle功能，可以在NM上扩展自己的服务 --> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <!-- 用户自定义扩展的Map-Reduce的shuffle功能 --> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property></configuration>

Haddop其他相关配置

在/usr/local/src/haddop/etc/haddop/目录下

vi masters#添加master主机ip地址

vi slaves#slave1主机ip#slave2主机ip

新建目录

mkdir /usr/local/src/hadoop/tmpmkdir /usr/local/src/hadoop/dfs/name -pmkdir /usr/local/src/hadoop/dfs/data -p

修改目录权限

chown -R hadoop:hadoop /usr/local/src/hadoop/

同步配置文件到slave节点

scp -r /usr/local/src/hadoop/ root@slave1:/usr/local/src/scp -r /usr/local/src/hadoop/ root@slave2:/usr/local/src/

在slave节点上设置hadoop环境变量

修改slave节点上目录权限

chown -R hadoop:hadoop /usr/local/src/hadoop/chown -R hadoop:hadoop /usr/local/src/hadoop/

切换回hadoop用户

执行source /etc/profile使配置的环境变量生效

原文转载：http://www.shaoqun.com/a/772000.html

跨境电商：https://www.ikjzd.com/

淘粉吧怎么返利：https://www.ikjzd.com/w/1725

美菜：https://www.ikjzd.com/w/1874

大数据Hadoop全分布配置文件配置安装配置hadoop和jdk配置/usr/local/src/hadoop/etc/hadoop/下的四个文件<configuration><property><!--DFS的名称节点在本地文件系统位置--><name>dfs.namenode.name.dir</name><value>f
prezi：https://www.ikjzd.com/w/1751
泛亚班拿：https://www.ikjzd.com/w/1262
worldfirst：https://www.ikjzd.com/w/289
趁我怀孕 老公竟然养成出轨恶习：http://www.30bags.com/m/a/251016.html
Smallseotools：https://www.ikjzd.com/w/1868
catch of the day：https://www.ikjzd.com/w/456