Eino 旨在提供基于 Golang 语言的终极大模型应用开发框架。 它从开源社区中的诸多优秀 LLM 应用开发框架，如 LangChain 和 LlamaIndex 等获取灵感，同时借鉴前沿研究成果与实际应用，提供了一个强调简洁性、可扩展性、可靠性与有效性，且更符合 Go 语言编程惯例的 LLM 应用开发框架。
Eino 提供的价值如下：
- 精心整理的一系列 组件（component） 抽象与实现，可轻松复用与组合，用于构建 LLM 应用。
- 强大的 编排（orchestration） 框架，为用户承担繁重的类型检查、流式处理、并发管理、切面注入、选项赋值等工作。
- 一套精心设计、注重简洁明了的 API。
- 以集成 流程（flow） 和 示例（example） 形式不断扩充的最佳实践集合。
- 一套实用 工具（DevOps tools），涵盖从可视化开发与调试到在线追踪与评估的整个开发生命周期。
Eino 可在 AI 应用开发周期中的不同阶段，规范、简化和提效：
- Development: 开箱即用的 AI 相关组件；常见的 Flow 范式；对并发、异步、流式友好的图编排；完善的流处理能力等。这些均可对 AI 应用的开发提供很大助力。
- Debugging: 可对图编排的应用，进行可视化的开发调试
- Deployment: 提供丰富的对 AI 应用的评测能力
- Maintenance: 提供丰富的切面对 AI 应用进行观测、监控
Demo
/** Copyright 2024 CloudWeGo Authors** Licensed under the Apache License, Version 2.0 (the "License");* you may not use this file except in compliance with the License.* You may obtain a copy of the License at** http://www.apache.org/licenses/LICENSE-2.0** Unless required by applicable law or agreed to in writing, software* distributed under the License is distributed on an "AS IS" BASIS,* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.* See the License for the specific language governing permissions and* limitations under the License.*/package mainimport ("context""github.com/cloudwego/eino-ext/components/model/ollama""github.com/cloudwego/eino-ext/components/model/openai""github.com/cloudwego/eino/components/model""github.com/cloudwego/eino/components/prompt""github.com/cloudwego/eino/schema""io""log""os"
)func main() {ctx := context.Background()// 使用模版创建messageslog.Printf("===create messages===\n")messages := createMessagesFromTemplate()log.Printf("messages: %+v\n\n", messages)// 创建llmlog.Printf("===create llm===\n")cm := createOpenAIChatModel(ctx)// cm := createOllamaChatModel(ctx)log.Printf("create llm success\n\n")log.Printf("===llm generate===\n")result := generate(ctx, cm, messages)log.Printf("result: %+v\n\n", result)log.Printf("===llm stream generate===\n")streamResult := stream(ctx, cm, messages)reportStream(streamResult)
}func createMessagesFromTemplate() []*schema.Message {template := createTemplate()// 使用模板生成消息messages, err := template.Format(context.Background(), map[string]any{"role": "程序员鼓励师","style": "积极、温暖且专业","question": "我的代码一直报错，感觉好沮丧，该怎么办？",// 对话历史（这个例子里模拟两轮对话历史）"chat_history": []*schema.Message{schema.UserMessage("你好"),schema.AssistantMessage("嘿！我是你的程序员鼓励师！记住，每个优秀的程序员都是从 Debug 中成长起来的。有什么我可以帮你的吗？", nil),schema.UserMessage("我觉得自己写的代码太烂了"),schema.AssistantMessage("每个程序员都经历过这个阶段！重要的是你在不断学习和进步。让我们一起看看代码，我相信通过重构和优化，它会变得更好。记住，Rome wasn't built in a day，代码质量是通过持续改进来提升的。", nil),},})if err != nil {log.Fatalf("format template failed: %v\n", err)}return messages
}func createOpenAIChatModel(ctx context.Context) model.ChatModel {key := os.Getenv("OPENAI_API_KEY")chatModel, err := openai.NewChatModel(ctx, &openai.ChatModelConfig{Model: "gpt-4o", // 使用的模型版本APIKey: key, // OpenAI API 密钥})if err != nil {log.Fatalf("create openai chat model failed, err=%v", err)}return chatModel
}func reportStream(sr *schema.StreamReader[*schema.Message]) {defer sr.Close()i := 0for {message, err := sr.Recv()if err == io.EOF {return}if err != nil {log.Fatalf("recv failed: %v", err)}log.Printf("message[%d]: %+v\n", i, message)i++}
}func createOllamaChatModel(ctx context.Context) model.ChatModel {chatModel, err := ollama.NewChatModel(ctx, &ollama.ChatModelConfig{BaseURL: "http://localhost:11434", // Ollama 服务地址Model: "llama2", // 模型名称})if err != nil {log.Fatalf("create ollama chat model failed: %v", err)}return chatModel
}func createTemplate() prompt.ChatTemplate {// 创建模板，使用 FString 格式return prompt.FromMessages(schema.FString,// 系统消息模板schema.SystemMessage("你是一个{role}。你需要用{style}的语气回答问题。你的目标是帮助程序员保持积极乐观的心态，提供技术建议的同时也要关注他们的心理健康。"),// 插入需要的对话历史（新对话的话这里不填）schema.MessagesPlaceholder("chat_history", true),// 用户消息模板schema.UserMessage("问题: {question}"),)
}func generate(ctx context.Context, llm model.ChatModel, in []*schema.Message) *schema.Message {result, err := llm.Generate(ctx, in)if err != nil {log.Fatalf("llm generate failed: %v", err)}return result
}func stream(ctx context.Context, llm model.ChatModel, in []*schema.Message) *schema.StreamReader[*schema.Message] {result, err := llm.Stream(ctx, in)if err != nil {log.Fatalf("llm generate failed: %v", err)}return result
}
支持的模型：
- openai: ChatModel - OpenAI
- ark: ChatModel - ARK
- ollama: ChatModel - Ollama
官网地址：Eino: 概述 | CloudWeGo
