欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 文旅 > 手游 > 豆包大模型-语音实时通话-青青-服务器ECS踩坑过程

豆包大模型-语音实时通话-青青-服务器ECS踩坑过程

2025/3/17 3:06:33 来源:https://blog.csdn.net/luck332/article/details/146258869  浏览:    关键词:豆包大模型-语音实时通话-青青-服务器ECS踩坑过程

语音实时通话-青青

依托豆包语音系列大模型,实现与虚拟好友乔青青开启实时语音通话,畅享真实的交流体验。

场景介绍

这款实时语音通话应用,依托豆包语音系列大模型打造。在这里,用户能与虚拟好友乔青青展开模拟通话,畅享真实的交流体验。
乔青青(Doreen),一位 20 岁的射手座新闻传播专业学生,性格率真爽朗、成绩优异,对追星、旅游、唱歌、摄影充满热情。无论是分享日常琐事,还是深入探讨趣味话题,她都能成为你的理想伙伴。而且,用户还能根据喜好,自由选择青青的音色,从清脆甜美的少女音,到活力满满的灵动嗓音,为这场交流增添更多个性化色彩 。
想认识这位多才多艺、热情开朗的青青吗?快来加入她的世界,与她一同探索生活的精彩,追逐梦想的光芒。

优势

  • 沉浸式真人对话体验:生活化的沟通方式,让使用者在与乔青青交流时,仿佛她就在身边,能真切感受到她的爽朗性格,全方位模拟真人互动,深度沉浸。
  • 低延时:实现近乎实时的对话响应,彻底告别长时间等待,高度模拟面对面的真实通话体验。
  • WebSocket 方案:易于实现和部署,通用性强跨平台兼容性好,高效利用资源,开发灵活性高,成本低。

相关模型

  • Doubao-pro-32k:深入还原角色的性格、背景和知识体系,以高度拟人化的方式回应用户提问,提供沉浸式的对话体验。
  • Doubao-语音合成:根据用户偏好的音色定制生成拟人化、逼真的角色语音输出。
  • Doubao-流式语音识别:将用户的语音提问转写为文本,以便于大模型对用户问题的理解与回复。

模型申请

Doubao-pro-32k申请入口

账号登录-火山引擎欢迎登录火山引擎,火山引擎是字节跳动旗下的云服务平台。https://console.volcengine.com/arkDoubao语音合成申请入口

null欢迎登录火山引擎,火山引擎是字节跳动旗下的云服务平台。https://console.volcengine.com/speech/app

下载源码

前往GITHUB下载官方提供的DEMO

https://github.com/volcengine/ai-app-lab/tree/main/demohouse/live_voice_call

环境准备

  • Poetry 1.6.1 版本
  • Python 版本要求大于等于 3.8,小于 3.12
  • Node 18.0 或以上版本
  • PNPM 8.10 或以上版本
  • 获取语音技术产品的 APP ID 和 Access Token,获取方式参见【附录】
  • 火山方舟 API KEY 
  • 火山引擎 AK SK 
  • 创建 Doubao-Pro 32K 的endpoint 

火山方舟 API KEY 

1. 选择API Key

请按如下方式设置 API Key 作为环境变量,其中"YOUR_API_KEY"需要替换为您在平台创建的 API Key

选择 API Key 并复制

export ARK_API_KEY="YOUR_API_KEY"

2. 选择示例代码

火山方舟 v3 API 与 OpenAI API 协议兼容,您可以使用火山引擎官方 SDK,也可以使用 OpenAI SDK 或其他兼容 OpenAI API 协议的多语言社区 SDK 调用火山方舟推理服务。第三方 SDK 不由火山引擎团队维护,仅供参考

语音合成

PYTHON环境安装

注意注意如果你的PYTHON如果不是3.8以上的安装时可能会出现错误 ,建议先升级版本

快速开始

本文为您介绍如何在本地快速部署 live voice call 项目。

  1. 下载代码库

    git clone https://github.com/volcengine/ai-app-lab.git
    cd demohouse/live_voice_call
    
  2. 修改配置

  • 修改backend/handler.py

    ASR_ACCESS_TOKEN = "{YOUR_ASR_ACCESS_TOKEN}"
    ASR_APP_ID = "{YOUR_ASR_APP_ID}"
    TTS_ACCESS_TOKEN = "{YOUR_TTS_ACCESS_TOKEN}"
    TTS_APP_ID = "{YOUR_TTS_APP_ID}"
    LLM_ENDPOINT_ID = "{YOUR_ARK_LLM_ENDPOINT_ID}"
    
  • 修改本地环境变量注入方舟APIKEY

    export ARK_API_KEY={YOUR_API_KEY}
    
  1. 启动服务端

    cd demohouse/live_voice_call/backendpython -m venv .venv
    source .venv/bin/activate
    pip install poetry==1.6.1poetry install
    poetry run python -m handler
    
  2. 启动web端

    cd demohouse/live_voice_call/frontend
    pnpm install
    pnpm run dev
    
  3. 访问http://localhost:8080即可

服务器上的踩坑点

最主要的是服务器上的踩坑点特别要注意的哟,如果不改,会一直出现连不上的问题。

最主要的是服务器上的踩坑点特别要注意的哟,如果不改,会一直出现连不上的问题。

最主要的是服务器上的踩坑点特别要注意的哟,如果不改,会一直出现连不上的问题。

大家记得一定要改否则用不了哟

前端发布

pnpm run build.网站要求用HTTPS,用你的域名打包指定到dist目录里,要不然不支持哟。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词