如何搭建spark yarn 模式的集群集群

以下是搭建Spark YARN模式集群的一般步骤：

 

准备工作

 

- 确保集群中各节点安装了Java环境，并配置好 JAVA_HOME 环境变量。

 

- 各节点间能通过SSH免密登录。

 

- 安装并配置好Hadoop集群，YARN作为Hadoop的资源管理器，Spark YARN模式需要依赖Hadoop环境。

 

下载与安装Spark

 

- 在官网下载适合你系统的Spark版本，将下载的压缩包上传到集群的主节点，并解压到指定目录。

 

- 配置 SPARK_HOME 环境变量，在 spark-env.sh 文件中配置相关环境参数，如 export SPARK_DIST_CLASSPATH=$(hadoop classpath) ，让Spark能够找到Hadoop的相关类。

 

配置Spark

 

- 进入Spark的配置目录，复制 spark-defaults.conf.template 为 spark-defaults.conf ，并进行编辑，设置 spark.master 为 yarn ， spark.submit.deployMode 为 cluster 等参数。

 

- 复制 slaves.template 为 slaves ，在 slaves 文件中列出所有从节点的主机名或IP地址。

 

分发Spark到从节点

 

将安装好的Spark目录通过 scp 命令复制到所有从节点的相同目录下。

 

启动集群

 

- 先启动Hadoop集群，包括NameNode、DataNode、ResourceManager、NodeManager等服务。

 

- 在主节点上进入Spark的 sbin 目录，执行 start-all.sh 脚本启动Spark集群，会启动Master和Worker等进程。

 

验证集群

 

- 提交一个Spark示例应用程序，如 spark-examples 中的 WordCount 程序，观察任务是否能在YARN集群上正常运行。

 

- 通过YARN的Web界面（通常是 http://resourcemanager_ip:8088 ）查看应用程序的运行情况和资源使用情况，也可以通过Spark的Web界面（通常是 http://master_ip:8080 ）查看Spark集群的状态。