欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 健康 > 美食 > hadoop的常用命令

hadoop的常用命令

2025/4/2 16:23:35 来源:https://blog.csdn.net/2301_81657245/article/details/146880881  浏览:    关键词:hadoop的常用命令

Hadoop集群中包含了多个组件,如HDFS(Hadoop Distributed File System)、YARN(Yet Another Resource Negotiator)等,以下是一些常用的命令:

### HDFS相关命令
1. **查看文件系统**
   - `hdfs dfs -ls`:列出文件系统中的文件和目录。
   - `hdfs dfs -ls -h`:以更易读的格式显示文件大小。
   - `hdfs dfs -ls -R`:递归显示目录下的所有文件和子目录。
   - `hdfs dfs -ls /`:查看根目录下的内容。

2. **创建目录**
   - `hdfs dfs -mkdir /path/to/directory`:创建指定目录。
   - `hdfs dfs -mkdir -p /path/to/directory`:递归创建目录,如果父目录不存在会自动创建。

3. **上传文件**
   - `hdfs dfs -put localfile /path/to/hdfs`:将本地文件上传到HDFS指定路径。
   - `hdfs dfs -copyFromLocal localfile /path/to/hdfs`:与`put`命令功能相同。

4. **下载文件**
   - `hdfs dfs -get /path/to/hdfs localfile`:将HDFS中的文件下载到本地。
   - `hdfs dfs -copyToLocal /path/to/hdfs localfile`:与`get`命令功能相同。

5. **删除文件或目录**
   - `hdfs dfs -rm /path/to/file`:删除指定文件。
   - `hdfs dfs -rm -r /path/to/directory`:递归删除目录及其内容。
   - `hdfs dfs -rm -r -f /path/to/directory`:强制删除目录及其内容,不提示确认。

6. **查看文件内容**
   - `hdfs dfs -cat /path/to/file`:查看文件内容。
   - `hdfs dfs -tail /path/to/file`:查看文件的最后部分内容。

7. **查看文件系统状态**
   - `hdfs dfsadmin -report`:查看HDFS集群的健康状态和存储情况。
   - `hdfs dfs -df -h`:查看HDFS的磁盘使用情况。

### YARN相关命令
1. **查看YARN集群状态**
   - `yarn cluster -status`:查看YARN集群的运行状态。
   - `yarn node -status`:查看节点状态。

2. **查看正在运行的作业**
   - `yarn application -list`:列出所有正在运行的作业。
   - `yarn application -status application_id`:查看指定作业的状态。

3. **杀死作业**
   - `yarn application -kill application_id`:终止指定的作业。

4. **查看队列信息**
   - `yarn queue -status`:查看队列的使用情况和状态。

### Hadoop守护进程相关命令
1. **启动Hadoop集群**
   - `start-dfs.sh`:启动HDFS守护进程。
   - `start-yarn.sh`:启动YARN守护进程。
   - `start-all.sh`:启动HDFS和YARN守护进程(不推荐使用,建议分别启动)。

2. **停止Hadoop集群**
   - `stop-dfs.sh`:停止HDFS守护进程。
   - `stop-yarn.sh`:停止YARN守护进程。
   - `stop-all.sh`:停止HDFS和YARN守护进程。

3. **格式化HDFS文件系统**
   - `hdfs namenode -format`:格式化HDFS文件系统,通常在首次安装或重置集群时使用。

4. **查看守护进程状态**
   - `jps`:查看当前Java进程,包括Hadoop守护进程。

这些命令是Hadoop集群操作的基础,根据实际需求,可能还需要结合其他工具和命令进行更复杂的操作。

基于ai生成 可能有误

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词