一、DeepSeek简介
DeepSeek是一家专注于通用人工智能(AGI)研究的中国科技公司,成立于2023年,总部位于中国杭州。 DeepSeek由知名私募巨头幻方量化孕育而生,致力于研究和开发先进的通用人工智能模型AGI。其核心优势在于性能卓越、低成本开发和开源策略。12
DeepSeek的主要产品包括DeepSeek LLM、DeepSeek-V2、DeepSeek-V3、DeepSeek Coder、DeepSeek Math、DeepSeek-VL等。这些模型在数学能力、编程、自然语言处理等领域表现出色,尤其在数学能力基准测试中达到了77.5%的准确率,与OpenAI的GPT-4性能相近,但训练成本极低。
在技术实现上,DeepSeek采用了数据蒸馏技术,使得模型更加精炼和有用。其模型的训练成本远低于其他同类模型,例如DeepSeek-V3在2048块英伟达H800 GPU上训练,仅花费约557.6万美元,相比之下,其他顶级模型的训练成本高达数亿美元。
DeepSeek的开源策略也为其赢得了广泛的关注和讨论。其模型全部开源,使得研究人员和开发者可以更容易地使用和改进这些模型,进一步推动了通用人工智能的发展。
二、DeepSeek本地部署
1,下载安装Ollamat
为什么要安装Ollamat,这是用来支持大模型的运行,可以理解成一个平台,可以支持运行很多大模型,包括我们接下来要部署的DeepSeek。
官网:OllamaGet up and running with large language models.https://ollama.com/
如果网页上点击下载比较慢可以把链接复制出来用迅雷下载会比较快
接下来就是安装,Ollama没有提供安装路径的选择,默认是安装在C盘,所以要保障C盘的剩余空间要足够大。软件一共745M不算大,但是安装出来要4.56G,所以大家评估好自己的C盘空间。
2,下载DeepSeek-R1
还是Ollama的官网,在Models里面选择下载DeepSeek-R1
点击进去选择对应的模型来下载
具体使用哪个版本的模型可以根据自己本地的硬件配置来选择
DeepSeek不同版本的显存要求如下:
模型版本 | 显存需求(FP16推理) | 显存需求(INT8推理) | 推荐显卡 |
---|---|---|---|
1.5B | 约3GB | 约2GB | RTX 2060/Mac M系列 |
7B | 约14GB | 约10GB | RTX 3060 12GB/4070 Ti/Mac M系列 |
8B | 约16GB | 约12GB | RTX 4070/Mac M系列 |
14B | 约28GB | 约20GB | RTX 4090/A100 40G |
32B | 约64GB | 约48GB | 2xRTX 4090/A100 80G |
70B | 约40GB(4-bit量化) | – | 需要多张高端GPU支持 |
671B | 超过336GB | – | 需要专业服务器 |
我的内存是16G,显卡是Gtx1660,跑7b模型问题不大,那我们就下载7b模型
以管理员身份打开CMD窗口,粘贴:ollama run deepseek-r1:7b,在这里要耐心等待下,我差不多个把小时才下载好
这是下载好的界面
下载好后,有个Send a message的提示,可以测试一下
3,测试DeepSeek-R1
可以看到能正常回答问题,再测试一个复杂点的
可以看到回答的还是相当可以的,到这里本地就部署起来了,但是在CMD窗口里面还是不太方便,那有没有可以像聊天框那样的界面呢,这里也是有解决方案的,可以借助chatbox来实现聊天框的界面
三、搭建Chatbox
1,下载安装Chatbox
官网:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。https://chatboxai.app/zh
下面是安装好的chatbox
2,配置Chatbox
Chatbox只是一个界面,安装好后需要配置使得Chatbox可以正常接入DeepSeek模型
选择Ollama API,这里千万别选DeepSeek API,我们用的是本地部署的Ollama API
设置好后,在输入框右上角就可以看到本地部署的DeepSeek模型了
3,测试Chatbox+DeepSeek
文学测试
代码能力测试,prompt:请用Python的scapy模型实现修改client hello报文中的SNI字段,新的SNI为zte.com.cn。
虽然有大段的推理,然后也生产了代码,但是明显是不对的
测试一个敏感政治的问题
测试的过程中发现,也有等半天不给响应的情况,不确定是chatbox的原因还是DeepSeek反馈慢的问题
以上就是本地部署DeepSeek的所有过程步骤,感兴趣的同学电脑硬件允许的情况可以手动尝试部署