文章目录
- HDFS常用命令
- 1. `hdfs dfs -ls`：列出目录内容。
- 2. `hdfs dfs -mkdir`：创建目录
- 3. `hdfs dfs -put`：将本地文件上传到 HDFS
- 4. `hdfs dfs -get`：从 HDFS 下载文件到本地文件系统
- 5. `hdfs dfs -rm`：删除 HDFS 上的文件或目录
- 6. `hdfs dfs -rmdir`：删除 HDFS 上的空目录
- 7. `hdfs dfs -du`：显示目录或文件的磁盘使用情况
- 8. `hdfs dfs -chown`：更改文件或目录的所有者
- 9. `hdfs dfs -chmod`：更改文件或目录的权限
- 10. `hdfs dfs -chgrp`：更改文件或目录的组
- 11. `hdfs dfs -copyFromLocal`：将本地文件复制到 HDFS
- 12. `hdfs dfs -copyToLocal`：将 HDFS 文件复制到本地文件系统
- 13. `hdfs dfs -cat`：显示 HDFS 文件的内容
- 14. `hdfs dfs -moveFromLocal`：将本地文件移动到 HDFS
- 15. `hdfs dfs -moveToLocal`：将 HDFS 文件移动到本地文件系统
- 16. `hdfs dfs -count`：统计目录中的文件数、目录数和空间使用情况
- 17. `hdfs dfs -df`：显示 HDFS 文件系统的磁盘空间使用情况
- 18. `hdfs dfs -stat`：显示文件或目录的状态信息
- 19. `hdfs dfs -tail`：显示文件的最后部分内容
- 20. `hdfs dfs -test`：测试文件、目录或符号链接的存在性和类型
Hadoop 分布式文件系统（HDFS）是 Hadoop 生态系统中的核心组件之一。以下是一些常用的 HDFS 命令及其详细解释和示例。
HDFS常用命令
1. hdfs dfs -ls：列出目录内容。
功能：列出目录内容。
语法：
hdfs dfs -ls [path]
示例：
hdfs dfs -ls /user/hadoop
解释：列出 /user/hadoop 目录下的所有文件和子目录。
2. hdfs dfs -mkdir：创建目录
功能：创建目录。
语法：
hdfs dfs -mkdir [path]
示例：
hdfs dfs -mkdir /user/hadoop/newdir
解释：在 /user/hadoop 目录下创建一个名为 newdir 的新目录。
3. hdfs dfs -put：将本地文件上传到 HDFS
功能：将本地文件上传到 HDFS。
语法：
hdfs dfs -put [local_path] [hdfs_path]
示例：
hdfs dfs -put /home/user/localfile.txt /user/hadoop/
解释：将本地文件 /home/user/localfile.txt 上传到 HDFS 的 /user/hadoop/ 目录下。
4. hdfs dfs -get：从 HDFS 下载文件到本地文件系统
功能：从 HDFS 下载文件到本地文件系统。
语法：
hdfs dfs -get [hdfs_path] [local_path]
示例：
hdfs dfs -get /user/hadoop/hdfsfile.txt /home/user/
解释：将 HDFS 上的文件 /user/hadoop/hdfsfile.txt 下载到本地目录 /home/user/ 下。
5. hdfs dfs -rm：删除 HDFS 上的文件或目录
功能：删除 HDFS 上的文件或目录。
语法：
hdfs dfs -rm [path]
示例：
hdfs dfs -rm /user/hadoop/hdfsfile.txt
解释：删除 HDFS 上的文件 /user/hadoop/hdfsfile.txt。
6. hdfs dfs -rmdir：删除 HDFS 上的空目录
功能：删除 HDFS 上的空目录。
语法：
hdfs dfs -rmdir [path]
示例：
hdfs dfs -rmdir /user/hadoop/emptydir
解释：删除 HDFS 上的空目录 /user/hadoop/emptydir。
7. hdfs dfs -du：显示目录或文件的磁盘使用情况
功能：显示目录或文件的磁盘使用情况。
语法：
hdfs dfs -du [path]
示例：
hdfs dfs -du /user/hadoop
解释：显示 /user/hadoop 目录下的所有文件和子目录的磁盘使用情况。
8. hdfs dfs -chown：更改文件或目录的所有者
功能：更改文件或目录的所有者。
语法：
hdfs dfs -chown [owner][:group] [path]
示例：
hdfs dfs -chown newuser:newgroup /user/hadoop/hdfsfile.txt
解释：将 /user/hadoop/hdfsfile.txt 文件的所有者更改为 newuser，组更改为 newgroup。
9. hdfs dfs -chmod：更改文件或目录的权限
功能：更改文件或目录的权限。
语法：
hdfs dfs -chmod [mode] [path]
示例：
hdfs dfs -chmod 755 /user/hadoop/hdfsfile.txt
解释：将 /user/hadoop/hdfsfile.txt 文件的权限更改为 755。
10. hdfs dfs -chgrp：更改文件或目录的组
功能：更改文件或目录的组。
语法：
hdfs dfs -chgrp [group] [path]
示例：
hdfs dfs -chgrp newgroup /user/hadoop/hdfsfile.txt
解释：将 /user/hadoop/hdfsfile.txt 文件的组更改为 newgroup。
11. hdfs dfs -copyFromLocal：将本地文件复制到 HDFS
功能：将本地文件复制到 HDFS。
语法：
hdfs dfs -copyFromLocal [local_path] [hdfs_path]
示例：
hdfs dfs -copyFromLocal /home/user/localfile.txt /user/hadoop/
解释：将本地文件 /home/user/localfile.txt 复制到 HDFS 的 /user/hadoop/ 目录下。
12. hdfs dfs -copyToLocal：将 HDFS 文件复制到本地文件系统
功能：将 HDFS 文件复制到本地文件系统。
语法：
hdfs dfs -copyToLocal [hdfs_path] [local_path]
示例：
hdfs dfs -copyToLocal /user/hadoop/hdfsfile.txt /home/user/
解释：将 HDFS 上的文件 /user/hadoop/hdfsfile.txt 复制到本地目录 /home/user/ 下。
13. hdfs dfs -cat：显示 HDFS 文件的内容
功能：显示 HDFS 文件的内容。
语法：
hdfs dfs -cat [path]
示例：
hdfs dfs -cat /user/hadoop/hdfsfile.txt
解释：显示 HDFS 上的文件 /user/hadoop/hdfsfile.txt 的内容。
14. hdfs dfs -moveFromLocal：将本地文件移动到 HDFS
功能：将本地文件移动到 HDFS。
语法：
hdfs dfs -moveFromLocal [local_path] [hdfs_path]
示例：
hdfs dfs -moveFromLocal /home/user/localfile.txt /user/hadoop/
解释：将本地文件 /home/user/localfile.txt 移动到 HDFS 的 /user/hadoop/ 目录下。
15. hdfs dfs -moveToLocal：将 HDFS 文件移动到本地文件系统
功能：将 HDFS 文件移动到本地文件系统。
语法：
hdfs dfs -moveToLocal [hdfs_path] [local_path]
示例：
hdfs dfs -moveToLocal /user/hadoop/hdfsfile.txt /home/user/
解释：将 HDFS 上的文件 /user/hadoop/hdfsfile.txt 移动到本地目录 /home/user/ 下。
16. hdfs dfs -count：统计目录中的文件数、目录数和空间使用情况
功能：统计目录中的文件数、目录数和空间使用情况。
语法：
hdfs dfs -count [path]
示例：
hdfs dfs -count /user/hadoop
解释：统计 /user/hadoop 目录中的文件数、目录数和空间使用情况。
17. hdfs dfs -df：显示 HDFS 文件系统的磁盘空间使用情况
功能：显示 HDFS 文件系统的磁盘空间使用情况。
语法：
hdfs dfs -df [path]
示例：
hdfs dfs -df /
解释：显示 HDFS 文件系统的磁盘空间使用情况。
18. hdfs dfs -stat：显示文件或目录的状态信息
功能：显示文件或目录的状态信息。
语法：
hdfs dfs -stat [format] [path]
示例：
hdfs dfs -stat "%b %y" /user/hadoop/hdfsfile.txt
解释：显示 /user/hadoop/hdfsfile.txt 文件的大小和最后修改时间。
19. hdfs dfs -tail：显示文件的最后部分内容
功能：显示文件的最后部分内容。
语法：
hdfs dfs -tail [path]
示例：
hdfs dfs -tail /user/hadoop/hdfsfile.txt
解释：显示 /user/hadoop/hdfsfile.txt 文件的最后部分内容。
20. hdfs dfs -test：测试文件、目录或符号链接的存在性和类型
功能：测试文件、目录或符号链接的存在性和类型。
语法：
hdfs dfs -test -[ezd] [path]
示例：
hdfs dfs -test -e /user/hadoop/hdfsfile.txt
解释：测试 /user/hadoop/hdfsfile.txt 文件是否存在。
通过这些命令，你可以有效地管理和操作 HDFS 文件系统。每个命令都有其特定的用途和参数，可以根据需要进行组合和使用。
