欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 文旅 > 明星 > 修改HDFS上传和已有文件副本数,fsck命令检查文件的副本数,副本数量的配置,Block块大小的配置

修改HDFS上传和已有文件副本数,fsck命令检查文件的副本数,副本数量的配置,Block块大小的配置

2024/10/24 3:25:19 来源:https://blog.csdn.net/qq_65231448/article/details/140087457  浏览:    关键词:修改HDFS上传和已有文件副本数,fsck命令检查文件的副本数,副本数量的配置,Block块大小的配置

临时决定被上传文件以多少个副本存储

hadoop fs -D dfs.replication=2 -put test.txt /tmp/

如上命令,就可以在上传test.txt的时候,临时设置其副本数为2

修改已存在文件副本数

对于已经存在HDFS的文件,修改dfs.replication属性不会生效,如果要修改已存在文件可以通过命令

 hadoop fs -setrep [-R] 2 path

 如上命令,指定path的内容将会被修改为2个副本存储

 -R选项可选,使用-R表示对子目录也生效。

 fsck命令检查文件的副本数

 我们可以使用hdfs提供的fsck命令来检查文件的副本数

hdfs fsck path [-files [-blocks [-locations]]]

 fsck可以检查指定路径是否正常

-files可以列出路径内的文件状态

-files -blocks  输出文件块报告(有几个块,多少副本)

-files -blocks -locations 输出每一个block的详情

HDFS副本块数量的配置

 如何设置默认文件上传到HDFS中拥有的副本数量呢?

可以在hdfs-site.xml中配置如下属性:

<property>    

        <name>dfs.replication</name>    

        <value>3</value>

</property>

这个属性默认是3,一般情况下,我们无需主动配置(除非需要设置非3的数值) 如果需要自定义这个属性,请修改每一台服务器的hdfs-site.xml文件,并设置此属性。

 

Block块大小的配置

可以看到通过fsck命令我们验证了: 文件有多个副本 文件被分成多个块存储在hdfs 对于块(block),hdfs默认设置为256MB一个,也就是1GB文件会被划分为4个block存储。

块大小可以通过参数:  

<property>    

        <name>dfs.blocksize</name>    

        <value>268435456</value>    

        <description>设置HDFS块大小,单位是b</description>  

</property>

如上,设置为256MB

 

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com