欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 文旅 > 手游 > 4.2-6 使用Hadoop WebUI

4.2-6 使用Hadoop WebUI

2024/11/30 14:48:27 来源:https://blog.csdn.net/howard2005/article/details/143229218  浏览:    关键词:4.2-6 使用Hadoop WebUI

文章目录

  • 1. 查看HDFS集群状态
    • 1.1 端口号说明
    • 1.2 用主机名访问
    • 1.3 主节点状态
    • 1.4 用IP地址访问
    • 1.5 查看数据节点
  • 2. 操作HDFS文件系统
    • 2.1 查看HDFS文件系统
    • 2.2 在HDFS上创建目录
    • 2.3 上传文件到HDFS
    • 2.4 删除HDFS文件和目录
  • 3. 查看YARN集群状态
  • 4. 实战总结

在这里插入图片描述

1. 查看HDFS集群状态

1.1 端口号说明

  • Hadoop 2.x 使用端口号 50070
  • Hadoop 3.x 使用端口号 9870

1.2 用主机名访问

访问 Hadoop WebUI 通过 http://master:9870,其中 master 是主节点的主机名。

1.3 主节点状态

  • Active 表示主节点处于正常运行状态。

1.4 用IP地址访问

使用主节点的浮动IP地址访问,例如 http://192.168.219.83:9870,并查看本机映射文件。

1.5 查看数据节点

  • 单击绿色导航栏上的 Datanodes 选项卡,可以查看集群中所有数据节点的状态。

2. 操作HDFS文件系统

2.1 查看HDFS文件系统

  • 单击 Utilities 选项卡,然后选择 Browse the file system 菜单项,查看根目录 /

2.2 在HDFS上创建目录

  • 创建根目录下的 BigData 目录

    • 切换到根目录。
    • 找到并单击 Create Directory 按钮。
    • 输入目录名 BigData 并单击 Create 按钮。
  • china 里创建 sichuan/luzhou/lzy 多级目录

    • 进入 china 目录,创建 sichuan
    • 进入 sichuan,创建 luzhou
    • 进入 luzhou,创建 lzy

2.3 上传文件到HDFS

  • 上传小文件(如 hosts 文件)到 /BigData 目录

    • 切换到 /BigData 目录。
    • 单击 Upload Files 按钮。
    • 选择文件并单击 Upload 按钮。
  • 上传大文件(如 hadoop-3.3.4.tar.gz)到 /BigData 目录

    • 注意大文件会被分割成多个块,默认块大小为128M。
    • 查看文件详情和块信息。

2.4 删除HDFS文件和目录

  • 删除文件

    • 单击文件右侧的删除图标。
    • 确认删除操作。
  • 删除目录

    • 单击目录右侧的删除图标。
    • 确认删除操作。

3. 查看YARN集群状态

通过访问 http://master:8088 可以查看YARN集群的状态。如果还没有运行过MapReduce应用,表格中将没有任何数据。

4. 实战总结

在本次实战中,我们通过Hadoop WebUI成功监控了HDFS集群状态,并掌握了如何在HDFS上进行文件和目录的操作。通过访问端口9870,我们查看了集群状态,创建并上传了文件,以及执行了删除操作。此外,通过端口8088我们检查了YARN集群状态。这些操作加深了我们对Hadoop文件系统管理的理解,为后续的大数据处理打下了坚实基础。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com