欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 汽车 > 时评 > Hadoop集群搭建

Hadoop集群搭建

2024/10/24 4:46:41 来源:https://blog.csdn.net/dj1955/article/details/142962380  浏览:    关键词:Hadoop集群搭建

先准备1台机器,配置好后再克隆2台,配置一样

# 修改ip (每个克隆机要执行)
vim /etc/sysconfig/network-scripts/ifcfg-ens33

# 检查
ifconfig
# 重启网卡
systemctl resatrt network

# 域名解析
vim /etc/hosts# 输入内容 有坑!!!千万不要用其它window编辑器编辑好复制进去 ,编码会冲突
192.168.208.10 hadoop10
192.168.208.11 hadoop11
192.168.208.12 hadoop12

================================= 进入正题=======================

上传hadoop安装包    jdk安装包,这里安装jdk忽略不讲

tar -zxvf /usr/local/hadoop-3.1.3.tar.gz

  配置环境变量 

# 最后记得 source 一下#JAVA_HOME
export JAVA_HOME=/usr/local/share/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin#HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

分别修改配置文件

cd /usr/local/hadoop-3.1.3/etc/hadoop

  

=============core
<property><name>fs.defaultFS</name><value>hdfs://hadoop10:8020</value>
</property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-3.1.3/data</value>
</property>==============hdfs=====注意!是http,不是https
<property><name>dfs.namenode.http-address</name><value>hadoop10:9870</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>hadoop12:9868</value>
</property>==============yarn====== 注意!HADOOP_MAPRED_HOME不要漏了<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>hadoop11</value></property><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,HADOOP_MAPRED_HOME</value></property>=============mapred
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>

节点建立集群关系

cd /usr/local/hadoop-3.1.3/etc/hadoopvim workers# 有坑!!!千万不要用其它win编辑器编辑好复制进去 ,编码会冲突
# 输入hostname 不能有空格或者空行,也不要带“_”特殊符号 注意! 注意! 注意!hadoop10
hadoop11
hadoop12

克隆剩下两台,按照第一台配置改ip ,检查机器之间的联同ping 一下

建议配置ssh免密登录,参考ssh免密登录-CSDN博客

# 存储初始化,如果有重新格式化(删除主节点的data和logs),需要连同从节点一起删除hdfs namenode -format

# 启动集群
sbin/start-dfs.sh

 由配置文件可知这些组件应该落在对映的节点上

HDFS web页面:http://hadoop10:9870/explorer.html#/

补充:如果由于各种原因启动不了,尝试!!!

1.查看不同节点logs文件,报错信息

2.检查配置文件是否正确,是否有编码转换问题

3.删除3个节点data/ 和logs/后,重新格式化再启动

# 查看进程号
jps# 强制停止进程
kill -9 <pid># 删除2个数据目录
rm -rf data/ logs/

4.权限不足问题,这个我使用过其它用户配置与root一样的权限,但不生效,导致很多坑!!原因不明,索性直接使用root (授权 sudo chmod -R 666 xxx.txt)

补充:服务各个组件单独停止和重启

hdfs --daemon start/stop nameode/datanode/secondarynamenodeyarn --daemon start/stop resourcemanager/nodemanager

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com