欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 新闻 > 资讯 > 如何借助 LLM Gateway (LLM网关)同时接入多款 AI 大模型?

如何借助 LLM Gateway (LLM网关)同时接入多款 AI 大模型?

2024/12/22 0:46:08 来源:https://blog.csdn.net/qq_40857096/article/details/144283856  浏览:    关键词:如何借助 LLM Gateway (LLM网关)同时接入多款 AI 大模型?

随着 AI 技术的快速发展,国内外各种大模型涌现,文字的、图形的、视频的;不同的LLM 能力不一,价格优惠也不一。大多数企业考虑到 AI 大模型的成本和大模型的能力差异等因素,往往会同时接入多款大模型轮换调用。

而不同 AI 供应商(包括开源和自托管模型)的 API 设计和调用方式不一致,导致了开发人员和企业使用和管理 AI 服务的方式变得非常复杂。

APIPark 为大家带来全新的 AI Service (AI Gateway / LLM Gateway )功能,支持快速同时接入多个 AI 大模型。

图片

通过统一的 API 格式来简化调用过程,APIPark 极大地减少了模型切换的复杂性和不稳定性,并且支持将 Prompt 封装成标准 REST API,便于常用 API 的在团队内外部的复用共享。

此外,APIPark 还支持 API 全生命周期的管理,覆盖 从API 的设计、发布到调用和下线的全过程,同时还提供订阅审批机制,有助于提高数据安全性。

https://github.com/APIParkLab/APIParkicon-default.png?t=O83Ahttps://github.com/APIParkLab/APIPark

🚀极速接入多款大模型

骤1:配置 AI 大模型供应商

在开始创建 AI 服务之前,首先需要配置 AI 模型供应商。APIPark 支持多款主流 AI 大模型,包括 OpenAI、Anthropic、AWS Bedrock、Google Gemini ...

配置供应商后,您可以选择不同的模型来创建 AI 服务,并在 APIPark 中统一管理所有 AI 服务的授权信息和成本统计。

进入 系统设置 模块,在侧边栏中选择 AI 模型管理,在列表中可以看到 APIPark 支持的所有 AI 供应商。

图片

💡 如果列表内没有您想要的AI 大模型,欢迎给我们提交 Issue(点击跳转)!

下面以接入 OpenAI 为示范,点击设置按钮,在弹窗中:

1)选择 默认的 AI 模型:后续在 AI 服务中创建 API 时,系统会自动为 API 设置默认的 AI 模型,减少用户操作的次数。

2)填写 供应商配置:每个供应商有不同的配置信息,系统会自动根据你选择的供应商来生成所需的配置信息。

配置信息一般可以在供应商的 Open API 管理后台获得,你可以在弹窗左下角找到快速跳转到供应商官网的按钮。

图片

步骤2:创建并发布 AI 服务

1)进入 工作空间 模块,在侧边栏中选择 服务,然后 创建服务,填写 AI 服务的基本信息配置管理权限订阅审核形式

图片

2)创建服务之后,APIPark 会自动在服务里创建一个默认的 聚合 API(Unified API),你可以直接通过这个聚合 API 来调用 AI 服务。

以往企业调用 AI 过程中,涉及到 Prompt 提示词都是采用硬编码的形式写在系统中。在 APIPart 上你可以对每个 LLM API 的 Prompt 独立管理,你可以将 Prompt 提示词和 AI 模型组合成自定义的 AI API

图片

3)将配置了 Prompt 的 AI API 发布到 API 门户上供大家订阅; 你可以给 API 配置审核流程,团队内外的开发者需要等待审核通过之后才能调用, 你还可以在列表中看到所有订阅该服务的 消费者

图片

APIPark 极大简化了大语言模型调用的过程,无需复杂代码即可同时连接主流大语言模型,让企业更加快捷、安全地使用AI。喜欢或感兴趣的小伙伴们赶紧去体验吧!记得 Star 和 Fork 一下~ 让我们有动力给大家提供更好的开源体验!

🔗更详细使用教程可以查看:APIPark 产品使用文档

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com