物联网架构之Hadoop部署

部署Hadoop系统

一.基础环境

1.修改主机名

2.所有节点添加hosts解析

3.关闭防火墙

4.关闭内核安全机制

sed -i "s/.*SELINUX=.\*/SELINUX=disabled/g" /etc/selinux/config

5.时间同步

yum -y install chrony

systemctl start chronyd

chronyc sources -v

6. 创建用户和组

所有node节点都需要执行

7.创建Hadoop组

groupadd hadoop

# 创建hduser用户

useradd -g hadoop hduser

# 为hduser用户设置密码

passwd hduser

8.更改用户 hduser 的密码。

新的密码：

无效的密码：密码少于 8 个字符

重新输入新的密码：

passwd：所有的身份验证令牌已经成功更新。

# 为hduser用户添加sudo权限

vim /etc/sudoers

在 root ALL=(ALL) ALL 下面添加如下内容：

hduser ALL=(ALL) NOPASSWD:ALL

## 保存是需要使用 :wq!

10..部署JDK环境

所有node节点都需要执行

# 上传安装包并安装

rpm -ivh jdk-8u171-linux-x64.rpm

# 配置环境变量

echo 'export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64' >> /etc/profile

echo 'export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH' >> /etc/profile

echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile

# 刷新环境变量

source /etc/profile

# 查看Java版本

java -version

11.配置免密登录

仅在node1节点执行

ssh-keygen

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

12. 部署Hadoop

安装配置Hadoop

所有node节点都需要执行

# 安装Hadoop

tar zxf hadoop-2.6.5.tar.gz -C /home/hduser/

# 修改目录名

mv /home/hduser/hadoop-2.6.5/ /home/hduser/hadoop

# 配置环境变量

cat >> /etc/profile << 'EOF'

export HADOOP_HOME=/home/hduser/hadoop

export PATH=$HADOOP_HOME/bin:$PATH

EOF

# 刷新环境变量

source /etc/profile

13.修改Hadoop相关配置文件

# 编辑/home/hduser/hadoop/etc/hadoop/hadoop-env.sh 文件

vim /home/hduser/hadoop/etc/hadoop/hadoop-env.sh

# 注释掉原本的export JAVA_HOME，然后再添加下面内容：

export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

# 编辑/home/hduser/hadoop/etc/hadoop/yarn-env.sh 文件

vim /home/hduser/hadoop/etc/hadoop/yarn-env.sh

# 添加下面内容：

export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

\ # 编辑/home/hduser/hadoop/etc/hadoop/slaves 文件

vim /home/hduser/hadoop/etc/hadoop/slaves

##清空原内容，然后输入如下内容

node2

node3

# 编辑/home/hduser/hadoop/etc/hadoop/core-site.xml 注意删除原有的<configuration>和</configuration>

##该文件是 Hadoop 全局配置

vim /home/hduser/hadoop/etc/hadoop/core-site.xml

# 末行添加：

<name>fs.defaultFS</name>

</property>

<name>hadoop.tmp.dir</name>

<value>file:/home/hduser/hadoop/tmp</value>

</property>

</configuration>

# 编辑/home/hduser/hadoop/etc/hadoop/hdfs-site.xml

##该文件是 HDFS 的配置

vim /home/hduser/hadoop/etc/hadoop/hdfs-site.xml

# 末行添加：

<name>dfs.namenode.secondary.http-address</name>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hduser/hadoop/dfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value> file:/home/hduser/hadoop/dfs/data</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

</configuration>

# 编辑/home/hduser/hadoop/etc/hadoop/mapred-site.xml

##该文件是 MapReduce的配置，可从模板文件 mapred-site.xml.template 复制

cp /home/hduser/hadoop/etc/hadoop/mapred-site.xml.template /home/hduser/hadoop/etc/hadoop/mapred-site.xml

vim /home/hduser/hadoop/etc/hadoop/mapred-site.xml 注意删除原有的<configuration>和</configuration>

# 末行添加：

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

</property>

</configuration>

# 编辑/home/hduser/hadoop/etc/hadoop/yarn-site.xml

##如果在 mapred-site.xml配置了使用YARN框架，那么YARN框架使用此文件中的配置

vim /home/hduser/hadoop/etc/hadoop/yarn-site.xml 注意删除原有的<configuration>和</configuration>

# 末行添加：

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<name>yarn.resourcemanager.address</name>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

</property>

<name>yarn.resourcemanager.admin.address</name>

</property>

<name>yarn.resourcemanager.webapp.address</name>

</property>

</configuration>

## 将修改完的配置文件推送分别到node2、node3节点

scp -r /home/hduser/hadoop/* node2:/home/hduser/

scp -r /home/hduser/hadoop/* node3:/home/hduser/

5.5 Hadoop相关管理

# 切换到Hadoop安装目录下

cd /home/hduser/hadoop/

# 格式化，必须要做的！！

bin/hdfs namenode -format

# 启动hdfs

sbin/start-dfs.sh

# 启动yarn

sbin/start-yarn.sh

# 也可以使用start-all.sh全部启动

sbin/start-all.sh

# 全部停止

sbin/stop-all.sh

# 查看集群状态

bin/hdfs dfsadmin -report

# 查看Java进程

jps

# 查看50070端口

netstat -nlpt | grep 50070

# 切换到Hadoop安装目录下

cd /home/hduser/hadoop/

使用start-all.sh全部启动

sbin/start-all.sh

18.运行Hadoop 的WordCount 程序

在/home/hduser/file 目录下创建 file1.txt、file2.txt 以下都是在 cd /home/hduser/hadoop/目录下进行

# 在/home/hduser/file 目录下创建 file1.txt、file2.txt

mkdir /home/hduser/file

echo "Hello World hi HADOOP" > /home/hduser/file/file1.txt

echo "Hello hadoop hi CHINA" > /home/hduser/file/file2.tx

19. 将 file1.txt、file2.txt 保存到 HDFS 中

# 创建 HDFS 目录/input2

bin/hadoop fs -mkdir /input2

bin/hadoop fs -ls /

# 将 file1.txt、file2.txt 上传到 HDFS 中

bin/hadoop fs -put /home/hduser/file/file* /input2

# 查看

bin/hadoop fs -ls /input2

bin/hadoop fs -cat /input2/*

20.执行 WordCount 程序并查看结果

# 执行 WordCount 程序

bin/hadoop jar /home/hduser/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /input2/ /output2/wordcount1

# 查看执行结果

bin/hadoop fs -ls /

bin/hadoop fs -ls /output2

bin/hadoop fs -cat /output2/wordcount1/*

用浏览器登录

在计算机浏览器中输入http://192.168.107.136:8088/cluster

和http://192.168.107.136:50070/dfshealth.html#tab-overview

物联网架构之Hadoop部署

相关资讯

热文排行

最新新闻

推荐新闻

热搜词