先准备1台机器,配置好后再克隆2台,配置一样
# 修改ip (每个克隆机要执行)
vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 检查
ifconfig
# 重启网卡
systemctl resatrt network
# 域名解析
vim /etc/hosts# 输入内容 有坑!!!千万不要用其它window编辑器编辑好复制进去 ,编码会冲突
192.168.208.10 hadoop10
192.168.208.11 hadoop11
192.168.208.12 hadoop12
================================= 进入正题=======================
上传hadoop安装包 jdk安装包,这里安装jdk忽略不讲
tar -zxvf /usr/local/hadoop-3.1.3.tar.gz
配置环境变量
# 最后记得 source 一下#JAVA_HOME
export JAVA_HOME=/usr/local/share/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin#HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
分别修改配置文件
cd /usr/local/hadoop-3.1.3/etc/hadoop
=============core
<property><name>fs.defaultFS</name><value>hdfs://hadoop10:8020</value>
</property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-3.1.3/data</value>
</property>==============hdfs=====注意!是http,不是https
<property><name>dfs.namenode.http-address</name><value>hadoop10:9870</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>hadoop12:9868</value>
</property>==============yarn====== 注意!HADOOP_MAPRED_HOME不要漏了<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>hadoop11</value></property><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,HADOOP_MAPRED_HOME</value></property>=============mapred
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
节点建立集群关系
cd /usr/local/hadoop-3.1.3/etc/hadoopvim workers# 有坑!!!千万不要用其它win编辑器编辑好复制进去 ,编码会冲突
# 输入hostname 不能有空格或者空行,也不要带“_”特殊符号 注意! 注意! 注意!hadoop10
hadoop11
hadoop12
克隆剩下两台,按照第一台配置改ip ,检查机器之间的联同ping 一下
建议配置ssh免密登录,参考ssh免密登录-CSDN博客
# 存储初始化,如果有重新格式化(删除主节点的data和logs),需要连同从节点一起删除hdfs namenode -format
# 启动集群
sbin/start-dfs.sh
由配置文件可知这些组件应该落在对映的节点上
HDFS web页面:http://hadoop10:9870/explorer.html#/
补充:如果由于各种原因启动不了,尝试!!!
1.查看不同节点logs文件,报错信息
2.检查配置文件是否正确,是否有编码转换问题
3.删除3个节点data/ 和logs/后,重新格式化再启动
# 查看进程号
jps# 强制停止进程
kill -9 <pid># 删除2个数据目录
rm -rf data/ logs/
4.权限不足问题,这个我使用过其它用户配置与root一样的权限,但不生效,导致很多坑!!原因不明,索性直接使用root (授权 sudo chmod -R 666 xxx.txt)
补充:服务各个组件单独停止和重启
hdfs --daemon start/stop nameode/datanode/secondarynamenodeyarn --daemon start/stop resourcemanager/nodemanager