目录
HDFS NFS Gateway
配置NFS
分析
实操
启动NFS功能
在windows挂载HDFS文件系统
HDFS NFS Gateway
通过该功能,我们就可以将整个HDFS文件系统挂载到windows系统的一个网络位置的硬盘,然后我们就可以像操作普通硬盘那样,看到里面的内容,以及对内容进行相关的操作
配置NFS
分析
关于192.168.88.1
它是电脑虚拟网卡VMnet8的IP:
可以看到VMnet8的ip地址配置成了192.168.88.1
其实,我们自己的电脑和虚拟机的通讯,都是通过192.168.88.1连接的,即:自己电脑上的网卡,访问到VMnet8,再通过VMnet8访问到某个Linux虚拟机并发送网络连接,所以我们并不是直连虚拟机,而是被VMnet8中转了一下。
为什么是88.1而不是66.1呢?
这取决于我们之前配置虚拟机时所配置的网络地址:
当我们把子网ip设置为192.168.88.0,网关ip设置为192.168.88.2时,就会自动把虚拟网卡VMnet8的ip设置为192.168.88.1
实操
使用vim编辑core-site.xml
cd /export/server/hadoop/etc/hadoop/
vim core-site.xml
在core-site.xml内新增如下两项
<property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value></property><property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value></property>
配置完后,保存并退出
在hdfs-site.xml中新增如下项
<property><name>nfs.superuser</name><value>hadoop</value></property><property><name>nfs.dump.dir</name><value>/tmp/.hdfs-nfs</value></property><property><name>nfs.exports.allowed.hosts</name><value>192.168.88.1 rw</value></property>
配置完后,保存并退出
启动NFS功能
1.将配置好的core-site.xml和hdfs-site.xml分发到node2和node3
scp core-site.xml hdfs-site.xml node2:`pwd`/
scp core-site.xml hdfs-site.xml node3:`pwd`/
2.关闭Hadoop HDFS集群
stop-dfs.sh
3.停止系统的NFS相关进程
hadoop用户没有权限执行这个操作,所以需要先切换到root用户(用exit回退到root用户)
exit
关闭系统nfs
systemctl stop nfs
关闭nfs开机自启
systemctl disable nfs
卸载系统自带的rpcbind(这里停用rpcbind是没用的,必须卸载。如果停用,它也会被系统的其他进程再次自动启动)
yum remove -y rpcbind
为什么要关闭系统自带的nfs并卸载系统自带的rpcbind?
因为我们需要用Hadoop自带的这些功能,所以要把系统自带的这些功能关闭和卸载。
启动portmap(HDFS自带的rpcbind功能)(必须以root执行)
hdfs --daemon start portmap
启动nfs(HDFS自带的nfs功能)(必须以hadoop用户执行)
切换回hadoop用户
su - hadoop
再执行
hdfs --daemon start nfs3
启动HDFS集群
start-dfs.sh
检查NFS是否正常
/ 192.168.88.1的意思是:运行这个ip连接到HDFS的文件系统的根目录上
在windows挂载HDFS文件系统
net use X: \\192.168.88.101\!
注意:如果是windows11升级成专业版,电脑重启后,要重新打开node1的nfs功能,否则会找不到网络名
注意:在windows中是没有办法修改文件的内容的,虽然之前说支持追加,但是在windows笔记本中追加内容,保存后会被视作修改,所以没办法修改,只能另存为。