搭建Spark集群（CentOS Stream 9）

零、资源准备

• 虚拟机相关：
  • VMware workstation 16：虚拟机/vmware_16.zip（建议选择vmware_17版本）
  • CentOS Stream 9：虚拟机/CentOS-Stream-9-latest-x86_64-boot.iso（安装包小，安装时需要联网下载）/ 虚拟机/CentOS-Stream-9-latest-x86_64-dvd1.iso(安装包大)
• JDK
  • jdk1.8：JDK/jdk-8u261-linux-x64.tar.gz
• Anaconda
  • anconda3-2023.07-2：anconda/Anaconda3-2023.07-2-Linux-x86_64.sh
• Hadoop
  • Hadoop 3.3.6：Hadoop/Hadoop-3.3.6.tar.gz
• Spark
  • spark 3.5.4: Spark/spark-3.5.4-bin-without-hadoop.tgz
• 辅助工具
  • MobaXterm：tools/MobaXterm_Portable_v24.0.zip

本文相关资源可以在文末提供的百度网盘资源中下载，除了vmware（你懂的…），以上资源均来源于官网，MobaXterm是便捷式软件，无需安装。

一、基础环境

1. Hadoop安装

https://blog.csdn.net/tangyi2008/article/details/136666852

2. Anaconda

（1）下载相应版本的Anaconda

可以在https://repo.anaconda.com/archive/下载，这里将下载Anaconda3-2023.07-2-Linux-x86_64.sh ,其python对应版本为3.11。

如果下载过慢，可以在清华镜像下载：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive , 也可以在文末的网盘链接中下载。

cd /software
dnf -y install wget
wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh

（2）安装anaconda

sh Anaconda3-2023.07-2-Linux-x86_64.sh

然后一路回车，等出现接受许可界面，输入yes接收许可。

接着可以配置anacoda的安装目录，这里配置的安装目录是：/opt/anaconda3

然后配置是否自动配置PATH路径，这里输入的yes，让其自动配置

（3）使配置生效

刚才在安装过程中已经自动配置了PATH路径，可以查看添加的配置内容：

tail -n 20 ~/.bashrc

将anaconda的配置脚本添加到/etc/profile：

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/opt/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; theneval "$__conda_setup"
elseif [ -f "/opt/anaconda3/etc/profile.d/conda.sh" ]; then. "/opt/anaconda3/etc/profile.d/conda.sh"elseexport PATH="/opt/anaconda3/bin:$PATH"fi
fi
unset __conda_setup
# <<< conda initialize <<<

运行source /etc/profile使配置生效。

按同样的方法在hadoop2和hadoop3上安装Anaconda

3. MySQL安装

注意：可跳过此步骤，需要时再安装

将MySQL安装在虚拟机Hadoop3。

1) 下载MySQL的源文件

可以通过 wget 工具下载 MySQL 源文件。

mkdir /software
cd /software
yum -y install wget
wget http://dev.mysql.com/get/mysql80-community-release-el9-1.noarch.rpm

2）安装MySQL源

安装下载的MySQL源文件，在MySQL源文件所在目录执行如下命令。

yum localinstall mysql80-community-release-el9-1.noarch.rpm

3) 安装MySQL

yum install mysql-community-server -y

如果出现Error: GPG check FAILED错误，是Mysql的GPG升级的缘故

解决办法：

（1）获取GPG：rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2023

（2）重新配置GPG： vi /etc/yum.repos.d/mysql-community.repo

(3) 运行yum install mysql-community-server -y重新安装MySQL

如果还是不能解决，可以参考官方安装指南： https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en

4）启动MySQL服务

启动MySQL服务，在虚拟机Hadoop3上执行如下命令。

systemctl start mysqld

可以使用命令 systemctl status mysqld 检查服务状态

MySQL安装完成后，默认为root用户提供了初始密码，查看该初始密码的命令如下所示。

5）查看MySQL初始密码

MySQL安装完成后，默认为root用户提供了初始密码，查看该初始密码的命令如下所示。

grep 'temporary password' /var/log/mysql