欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 科技 > IT业 > 在MindSearch中使用SiliconCloud:全面指南**

在MindSearch中使用SiliconCloud:全面指南**

2024/10/24 21:24:33 来源:https://blog.csdn.net/qq_60548077/article/details/142304922  浏览:    关键词:在MindSearch中使用SiliconCloud:全面指南**

随着硅基流动(SiliconFlow)提供的InternLM2.5-7B-Chat服务的免费开放,我们迎来了MindSearch部署的全新篇章。这一服务的免费提供,不仅极大地降低了部署门槛,还为MindSearch的使用者带来了纯CPU版本的便利。本文将为您详细介绍如何利用硅基流动的API来部署MindSearch。

快速开始

首先,您需要访问硅基流动的官方网站并注册一个账号。如果您已经注册过,直接登录即可。

  1. 注册/登录硅基流动账号

    访问 硅基流动云平台 进行注册或登录。

  2. 获取API Key

    完成注册后,前往 API密钥管理 页面。在这里,您需要创建一个新的API密钥并复制它,以便后续使用。

    API密钥创建

配置MindSearch

硅基流动的API接口与OpenAI的API接口完全一致,这使得配置过程变得异常简单。首先,您需要克隆MindSearch到本地,并安装所需的依赖项。具体的安装指南可以参考 MindSearch的GitHub仓库。

接下来,您需要修改MindSearch的配置文件,以便接入硅基流动的API。

  1. 修改配置文件

    打开/path/to/MindSearch/mindsearch/models.py文件,并添加以下配置:

    internlm_silicon = dict(type=GPTAPI,model_type='internlm/internlm2_5-7b-chat',key=os.environ.get('SILICON_API_KEY', 'YOUR SILICON API KEY'),openai_api_base='https://api.siliconflow.cn/v1/chat/completions',meta_template=[dict(role='system', api_role='system'),dict(role='user', api_role='user'),dict(role='assistant', api_role='assistant'),dict(role='environment', api_role='system')],top_p=0.8,top_k=1,temperature=0,max_new_tokens=8192,repetition_penalty=1.02,stop_words=['<|im_end|>'])
    

启动MindSearch

配置完成后,您可以开始启动MindSearch。

  1. 启动后端

    设置硅基流动的API Key,并启动MindSearch的后端服务:

    # 设置API Key
    export SILICON_API_KEY=您复制的密钥
    # 启动服务
    python -m mindsearch.app --lang en --model_format internlm_silicon --search_engine DuckDuckGoSearch
    
  2. 启动前端

    使用Gradio前端启动MindSearch。如果您使用的是其他前端,请参考MindSearch的README文档。

    python frontend/mindsearch_gradio.py
    

体验效果

启动完成后,您可以开始体验MindSearch的强大功能。响应速度非常快,用户体验极佳。

响应速度

部署到HuggingFace Space

您还可以选择将MindSearch部署到HuggingFace的Space中。

  1. 创建Space

    访问 HuggingFace Space 创建一个新的Space。

    创建Space

  2. 设置API Key

    创建成功后,进入Space的设置页面,配置API Key。

    设置API Key

  3. 上传文件

    将MindSearch目录、requirements.txtapp.py文件上传到Space中。

    上传文件

    app.py的具体内容请访问 HuggingFace Space上的MindSearch_X_SiliconFlow 查看。


版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com