欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 新闻 > 国际 > 电脑中本地部署阉割版DeepSeek或其他大模型的方法

电脑中本地部署阉割版DeepSeek或其他大模型的方法

2025/3/10 9:22:48 来源:https://blog.csdn.net/zhebushibiaoshifu/article/details/146137668  浏览:    关键词:电脑中本地部署阉割版DeepSeek或其他大模型的方法

  本文介绍在Windows电脑中,本地部署DeepSeek等大模型的方法。

  在2025年的年初,DeepSeek横空出世,很多人都第一时间在电脑中本地部署了它(因为官网确实太卡了,经常服务器超时);我当初也部署了一个,但是部署之后发现很鸡肋:因为只要是在自己电脑上部署的DeepSeek,那么大家肯定选择的就不是其参数数量最多的671b版本(因为这个版本对硬件的要求实在是太高了);而除了这个版本之外,用其他几个参数版本部署的所谓本地DeepSeek,都不是满血版,而是阉割版——这个阉割版,除了会think一下显得很高级之外,感觉完全没有通义等其他免费浏览器直接访问的大模型好用。

  所以,我当初部署完之后,也一直没有将这个部署过程发出来;但是最近周末正好有空,就还是记录一下(虽然网上已经很多同类的帖子了——但是其中不少帖子连自己部署的不是满血版这个事情都说不清楚),如果确实有需要本地部署(比如内网环境使用),或者后期又有其他新的开源大模型需要本地部署尝鲜的,还是可以参考。

  首先,需要下载管理、运行大型语言模型的工具Ollama,其可以帮助我们更容易地在本地或云端环境中加载、运行和测试这些大模型。我们直接进入其官方网站(https://ollama.com/)来下载即可。

  进入上述网站,点击“Download”图标,如下图所示。

  随后,选择自己电脑操作系统对应的版本,如下图所示。

  我这里下载的是Windows版本的。下载完成后,将得到一个.exe格式的安装包,如下图所示。

  双击其即可开始安装Ollama,如下图所示。其中,具体安装过程,大家就按照流程提示来操作即可,这里不再赘述。

  安装完成后,可能找不到Ollama的窗口,此时可以在电脑右下角找到其图标,如下图所示。

  此外,也可以在开始菜单看到其图标,如下图所示。

  随后,我们即可开始下载开源的DeepSeek。在年初DeepSeek爆火后,Ollama官网也直接接入了其下载入口,所以我们可以还回到Ollama的官方网站(https://ollama.com/),并点击左上角的“Models”,如下图所示。

  随后,找到其中的DeepSeek,如下图所示。

  接下来,选择我们需要的版本,如下图所示。其中,不同版本的名称就是其参数数量;满血版的DeepSeek就是最下面的671b版本,而其他参数数量少一些的版本,就是阉割的版本。建议大家按照自己的电脑配置,选择其中的7b8b版本即可——我当时用了一台配置还算可以,但是已经用了六、七年的笔记本电脑,运行8b版本就非常卡顿了。

  选择版本后,点击下图中右侧的那个标志,即可开始下载。

  下载完成后,Ollama会自动识别到我们的下载,并将其安装、部署到我们本机。我们此时只需要在命令行中,输入如下代码,即可开始运行上述我们下载好的DeepSeek

ollama run deepseek-r1:8b

  其中,deepseek-r1:8b就是我前面下载的8b版本的DeepSeek;如果大家下载的是其他参数的版本,或者下载的是其他开源的大模型,那么就需要修改一下代码。

  运行上述代码,如下图所示。

  稍等片刻,等待所有进度条完成,就可以在命令行中,和自己本地部署的DeepSeek交流了,如下图所示。

  但是此时,我们只能在命令行中与大模型互动(因为Ollama自身是没有桌面窗口的);如果希望可以有一个更加可视化的互动界面,我们可以再安装支持在桌面窗口中与大模型交流的工具。

  我一开始是准备用Cherry Studio这个工具的,如下图所示。

  但是,不知道为什么,我当初在其官网一直没有办法下载软件,如下图所示。

  所以,就选择用另一个工具Chatbox AI了。还是一样的,访问其官方网站(https://chatboxai.app/en),并选择下载,如下图所示。

  下载后,同样得到一个.exe格式的安装包,如下图所示。

  随后,双击其开始安装,如下图所示。

  安装完毕后,打开它并选择“使用自己的 API Key 或本地模型”,如下图所示。

  在其中,注意选择“Ollama API”而不是直接选择“DeepSeek API”,如下图所示。因为我们前面是基于Ollama部署的DeepSeek,相当于加了一层中转,所以如果直接选择“DeepSeek API”的话,Chatbox AI是识别不到的。

  随后,选择我们所下载的模型,如下图所示。

  接下来,就可以在Chatbox AI中,用可视化的方法,与DeepSeek交流了,如下图所示。

  至此,大功告成。

欢迎关注:疯狂学习GIS

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词