Hadoop简介及单点伪分布式安装

2024/11/5 11:08:40 来源：https://blog.csdn.net/qq_51180928/article/details/143492571 浏览: 次关键词：Hadoop简介及单点伪分布式安装

1. 大数据

大数据的定义：一种规模大到在获取、存储、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合。
特征：
1.海量的数据规模
2.快速的数据流转
3.多样的数据类型
4.价值密度低
上述特征可以缩小成5个特点：大量、高速、多样、价值、真实性。

2. Hadoop简介

Hadoop是一个由Apache软件基金会开发的分布式系统基础架构，它实现了一个分布式文件系统HDFS。HDFS具有高容错性，可以部署在价格低廉的硬件上，能提供高吞吐量来访问应用程序的数据。Hadoop的另一个核心设计就是MapReduce，MapReduce为海量的数据提供了计算。

3. Hadoop伪分布式安装

我推荐看Hadoop官网的单点伪分布式安装，一定要完成Pseudo-Distributed Operation中的配置。
这里我推荐使用Docker，我已经制作好了一个单点伪分布式的Hadoop镜像。拉取该镜像的命令：docker pull mengsui/single_node_hadoop:4.0。
使用该镜像运行容器的命令：docker run -d --gpus all -p 8080:8080 -p 8088:8088 -p 9870:9870 mengsui/single_node_hadoop:4.0(我在其中配置了nvidia-container-toolkit，可以使用宿主机的GPU)。
9870是WebHDFS的端口，8088是 YARN ResourceManager Web UI的端口，8080是code-server(vscode网页版的端口)。

4. Hadoop启动

启动命令：start-dfs.sh start-yarn.sh。
关闭命令：stop-dfs.sh stop-yarn.sh。
检查启动是否成功：jps。启动成功，在jps命令下会显示ResourceManager、DataNode、SecondaryNameNode、NameNode、NodeManager。
在这里插入图片描述
启动完后，直接点击8088和9870端口的连接，即可进入如下界面。