欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 房产 > 建筑 > 大模型部署,运维,测试所需掌握的知识点

大模型部署,运维,测试所需掌握的知识点

2025/5/1 1:27:17 来源:https://blog.csdn.net/qq_72758246/article/details/143974918  浏览:    关键词:大模型部署,运维,测试所需掌握的知识点

python环境部署:
python3 -m site --user-base                                                            返回用户级别的Python安装基础目录
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.8 1    将python3的默认路径/usr/bin/python3替换为/usr/bin/python3.8
sudo update-alternatives --config python                                            列出当前所有可用的Python版本
python3 --version                                                                    查看python版本
python3 -m ensurepip                                                                  安装pip3
python3 -m pip install --upgrade pip                                                
sudo python3 -m pip install --upgrade pip  -i   https://artnj.zte.com.cn/artifactory/api/pypi/public-pypi-virtual/simple       管理员权限中兴镜像下载安装pip3 // python安装库时使用的镜像源
python3 -m site --user-base                                                            查找pip3的安装位置
export PATH="$PATH:/home/yourusername/.local/bin"                                    将pip3添加到PATH:
pip3 --version                                                                        验证pip3是否可用:
python -m venv venv                                                                    创建一个venv的虚拟环境:
venv\Scripts\activate                                                                windows激活虚拟环境(venv):
source venv/bin/activate                                                            linux激活虚拟环境(venv):
deactivate                                                                            退出虚拟环境:

git常用命令:
git stash
git pull origin dev --rebase    
git stash apply
git add .
git commit -m "[keyword](A):             优化:模型市场-导入模型商品(本地导入),大模型仓库-大模型仓库sftp导入模型"
git push origin HEAD:refs/for/dev  
 
cd  .git    
git reset --soft HEAD^                  用于撤销最后一次提交,但保留该提交所做的更改在暂存区(staging area)中
git checkout xxx                        切换分支
git config --list                          查看git的配置列表    
git branch -d xxx                        删除分支
git checkout dev                        切换至dev分支
git pull origin dev --rebase            更新dev分支
git checkout -b xxx                        创建自己的分支
git stash apply stash@{1}                  应用指定分支
git stash apply                         应用最新分支


k8s及容器常用命令:
node>deploy>pod
/home/pict/nodecheck                  查询节点占用情况  要su     RCms@Zte3
kubectl get pv                        获取pv信息
kubectl get pvc                        获取pvc信息
kubectl get cm                        获取configMap信息
kubectl get rs                        获取ReplicaSet控制器信息
kubectl get sts                        获取statefulSet控制器信息
kubectl get sa                        获取serviceaccount信息
kubectl get svc                        获取默认命名空间的service
kubectl get svc -n ingress-nginx     获取指定命名空间为ingress-nginx的service
kubectl get secrets                 获取secrets信息
kubectl get sts                        获取statefulSet控制器信息
kubectl get node -o wide            查询node详细信息
kubectl get pods -n litmus             查询litmus(zchaos集群)下的pod
kubectl get deploy -n litmus        查询litmus下的deploy(控制器)
kubectl edit rs myapp                 修改ReplicaSet控制器的yaml清单内容
kubectl exec -it myapp-lmj45 -- /bin/sh                                                进入pod内的容器
kubectl exec -it myapp-lmj45 -c myapp-container sh                                    进入pod内指定容器
kubectl logs myapp-lmj45 --tail 300 -f                                                查看pod内的容器日志
kubectl explain pod                                                                    显示各种资源清单的字段解释
kubectl rollout                                                                        滚动更新
kubectl cluster-info                                                                查看集群信息
kubectl uncordon node2                                                                标记节点为可调度节点
kubectl api-resources                                                                查看k8s支持的资源类型
kubectl api-resources --api-group=storage.k8s.io                                     查看指定群组支持的资源类型
kubectl rollout pause deployment myapp-deploy                                        更新一个pod后暂停更新
kubectl describe pod podname | grep Node                                             可查看pod运行在哪个节点上
kubectl rollout resume deployment myapp-deploy                                        解除暂停状态,继续更新
kubectl rollout status deployment myapp-deploy                                        监控deployment更新状态
kubectl scale sts myapp --replicas=2                                                Kubernetes 将会确保 myapp StatefulSet 有 2 个 Pod 副本处于运行状态
kubectl set image deployment myapp-deploy myapp=ikubernetes/myapp:v3                修改deployment的镜像版本
kubectl cordon node2                                                                标记节点为不可调度节点
kubectl delete deploy xxx -n aistudio                                                  删除deploy
kubectl delete pod xxx -n aistudio                                                  删除pod
kubectl describe  pod   dep2411051954400192fc2d4f86-7f44f44958-7pkfj -n aistudio      查看推理pod详情
kubectl describe  deploy   dep241107162656019305bbd54c    -n aistudio                 查询推理deploy详情
kubectl label pods pod-demo release=canary                    给一个pod打一个没有存在的标签key=value    
kubectl label pods pod-demo release=stable --overwrite        给一个pod已经存在的标签重新赋值
kubectl label nodes node1 disktype-                            通过key删除标签
kubectl delete svc redis                                     删除service
kubectl get pods -A                                          获取所有namespace的Pod信息
kubectl get pods --show-labels                                获取Pod的labels
kubectl get pods -L apps,run                                 查看所有pod对于指定标签的key是否有value,有则显示,没有则空白
kubectl get pods -l apps --show-labels                         获取含有指定标签key的pod
kubectl get namespaces kube-system -o json                    获取指定namespace名为kube-system的json格式信息
kubectl get pg -A                                            查看环境上所有组织下申请GPU资源的任务情况


docker常用命令:
docker ps            列出容器    
docker run            创建并启动容器
docker create        创建容器(不启动)
docker start        启动容器
docker stop            停止容器
docker restart        重启容器
docker rm            删除容器
docker inspect        查看容器详情

linux常用命令总结(要保持英文状态下输入命令):
scp -r /path/to/local/directory username@remotehost:/path/to/remote/directory                      复制将本地目录及其内容复制到远程主机上(-r递归)
rcp root@218.6.132.5:./testfile testfile                                                        复制远程文件到本地    
curl -k -X GET -H "OPENSTACK_REQUEST:internal" http://127.0.0.1:19393/v1/external_ftp_server    查询FTP的地址
cd ..                                                                                                返回上级目录
pwd                                                                                             查看当前文件路径
cat filename | tail -n 10                                                                        显示文件 filename 的最后 10 行
cat -n filename                                                                                    显示文件 filename 的内容,并在每行的前面加上行号
chown root /var/run/httpd.pid                                                                    把 /var/run/httpd.pid 的所有者设置 root
diff log2014.log log2013.log                                                                    比较log2014.log ,log2013.log两个文件
find . -name file.txt                                                                            查找当前目录下名为 file.txt 的文件
find /var/log -mtime +7                                                                            查找 /var/log 目录下在 7 天前修改过的文件
find /home -size +1M                                                                            查找 /home 目录下大于 1MB 的文件
find /path/to/search -atime -7                                                                    查找过去 7 天内被访问的文件
sudo systemctl restart containerd                                                               重启容器服务
nvidia-smi                                                                                         查看GPU信息
brsmi                                                                                            查看GPU信息
du -sh                                                                                           显示指定目录或当前目录的总磁盘使用量
df -h                                                                                             查看磁盘使用量
top                                                                                              显示容器内部的实时 CPU 和内存使用情况。
find /var -type f -name "log.txt"                                                               查找 /var 目录下所有名为 log.txt 的文件 
locate log.txt                                                                                   数据库来快速查找文件
grep -R "error" /home/*.log                                                                      搜索文本内容 
which ls                                                                                          查找可执行文件的位置
ls *.log                                                                                        列出当前目录下所有以 .log 结尾的文件
find /var/log -type f -exec grep "error" {} \                                                     查找 /var/log 目录下所有包含 "error" 文本的文件
tail -f tcf_deploy_ccm_tcf_8d1bb00a-f6ee-4c23-a940-a1e0ba81935d.log                               用于实时查看并跟踪日志文件的最新内容  
touch file                                                                                         创建一个名为“file”的新的空白文件
mv aaa bbb                                                                                        将文件 aaa 改名为 bbb
which bash                                                                                        "which"查看指令"bash"的绝对路径
cp –r test/ newtest                                                                              将当前目录 test/ 下的所有文件复制到新目录 newtest 下
cp –r test newtest                                                                                将test文件复制到新目录 newtest 下
mv /usr/runoob/*  .                                                                             将 /usr/runoob 下的所有文件和目录移到当前目录下
rm  -rf   test.txt                                                                                删除文件名 test.txt
ln -s log2013.log link2013                                                                         给文件创建软链接,为log2013.log文件创建软链接link2013,如果log2013.log丢失,link2013将失效
nc -nvv 192.168.0.1 80                                                                            扫描 80端口
kill -15                                                                                        优雅停机
kill -9 -PID                                                                                    杀死进程组
kill -l                                                                                         列出所有可用信号
kill -s SIGSTOP 1234                                                                            向 PID 为 1234 的进程发送 SIGSTOP
ps -ef | grep pidname                                                                            查询指定pid进程名
shutdown -h 10                                                                                    指定 10 分钟后关机
shutdown -r now                                                                                    重新启动计算机
free                                                                                            显示内存使用信息
free -s 10                                                                                        每10s 显示内存使用信息
clear                                                                                            清屏
fdisk -l                                                                                        显示当前分区情况

vi + filename             打开文件,并将光标置于最后一行首
Ctrl+f                    向文件尾翻一屏
i                         在光标前插入(文本模式)
dd                        删除当前行
yy                        复制当前行
Esc                        退出插入模式,返回到命令模式
:w                        保存文件
:q                        不保存文件并退出vi
:wq 或 :x                保存文件并退出vi。
ZZ                         修改文件后退出。    
Ctrl+z回车                退出

tar -czvf 文件名.tar.gz 目录/ 或 tar -czvf 文件名.tgz 目录/             创建 .tar.gz 或 .tgz 压缩文件                
zip -r 文件名.zip 目录/                                             创建 .zip 压缩文件
tar -xzvf 文件名.tar.gz 或 tar -xzvf 文件名.tgz                     解压缩 .tar.gz 或 .tgz 文件
unzip 文件名.zip                                                     解压缩 .zip 文件

yum check-update                                                 列出所有可更新的软件清单
yum update                                                         更新所有软件命令
yum list                                                         列出所有可安裝的软件清单
yum remove <package_name>                                         删除软件包
yum search <keyword>                                             查找软件包
yum clean packages                                                 清除缓存目录下的软件包
yum clean headers                                                 清除缓存目录下的 headers

sudo apt update                                                     列出所有可更新的软件清单
sudo apt upgrade                                                 升级软件包
apt list --upgradable                                             列出可更新的软件包及版本信息
apt list --installed                                             列出所有已安装的包
sudo apt autoremove                                                 清理不再使用的依赖和库文件
sudo apt remove <package_name>                                     删除软件包命令

re正则表达式命令:
[ABC]                                                                                            匹配 [...] 中的所有字符,例如 [aeiou] 匹配字符串 "google runoob taobao" 中所有的 aeiou字母
[^ABC]                                                                                            匹配除了 [...] 中字符的所有字符,例如 [^aeiou] 匹配字符串 "google runoob taobao" 中除了 aeiou 字母的所有字符
[A-Z]                                                                                            [A-Z] 表示一个区间,匹配所有大写字母,[a-z] 表示所有小写字母
.                                                                                                匹配除换行符(\n、\r)之外的任何单个字符,相等于 [^\n\r]
[\s\S]                                                                                            匹配所有。\s 是匹配所有空白符,包括换行,\S 非空白符,不包括换行
\w                                                                                                匹配字母、数字、下划线。等价于 [A-Za-z0-9_]
\d                                                                                                匹配任意一个阿拉伯数字(0 到 9)。等价于 [0-9]
\cx                                                                                                匹配由x指明的控制字符。例如, \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则,将 c 视为一个原义的 'c' 字符
\f                                                                                                匹配一个换页符。等价于 \x0c 和 \cL
\n                                                                                                匹配一个换行符。等价于 \x0a 和 \cJ    
\r                                                                                                匹配一个回车符
\s                                                                                                匹配任何空白字符,包括空格、制表符、换页符等等
\S                                                                                                匹配任何非空白字符。等价于 [^ \f\n\r\t\v]
\t                                                                                                匹配一个制表符。等价于 \x09 和 \cI
\v                                                                                                匹配一个垂直制表符。等价于 \x0b 和 \cK
$                                                                                                匹配输入字符串的结尾位置
*                                                                                                匹配前面的子表达式零次或多次。要匹配 * 字符,请使用 \*
+                                                                                                匹配前面的子表达式一次或多次。要匹配 + 字符,请使用 \+。
^                                                                                                匹配输入字符串的开始位置,除非在方括号表达式中使用,当该符号在方括号表达式中使用时,表示不接受该方括号表达式中的字符集合
^(0|[1-9][0-9]*)$                                                                                匹配零和非零开头的数字,匹配输入字符串的结束位置


     
    

    
    
     


    


        
        


 

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词