moonshot：一个用于评估任何 LLM 应用程序的简单模块化工具

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

45. swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
46. 多模态大模型Internvl-1.5-26B微调后部署及测试实录（附代码）
47. 多模态大模型Internvl-2-26B的OCR赋能方案（附代码）
48. miniconda+xinference的大模型推理部署指南
49. Mem0：大模型最强赋能“有记忆的LLM”
50. 再谈Agent：Dify智能体实现Txet2SQL
51. Moe模式：或将是最好的大模型应用开发路径
52. 一文带你了解大模型RAG
53. 详细记录swfit微调interVL2-8B多模态大模型进行目标检测（附代码）
54. DIfy中集成magic-pdf实现文档解析agent与多模态大模型图文问答
55. 大模型Prompt trick：利用大模型同情心提升模型性能
56. 一文带你入门大模型微调
57. 开源大模型LLaMA架构介绍
58. CyberScraper-2077+simple-one-api：使用大模型爬虫
59. 大模型高效利用结构化信息研究：HTML格式或许更好
60. moonshot：一个用于评估任何 LLM 应用程序的简单模块化工具

---

---

Moonshot 由 AI Verify Foundation 开发，是首批将基准测试和红队结合在一起的工具之一，可帮助 AI 开发人员、合规团队和 AI 系统所有者评估 LLM 和 LLM 应用程序。

在这个初始版本中，Moonshot 可以通过多个界面使用：

用户友好的 Web UI - Web UI 用户指南
交互式命令行界面 - CLI 用户指南
通过 Moonshot 库 API 或 Moonshot Web API 无缝集成到您的 MLOps 工作流程中

环境需求：

Python 3.11 (We have yet to test on later releases)GitVirtual Environment (This is optional but we recommend you to separate your dependencies)# Create a virtual environment
python -m venv venv# Activate the virtual environment
source venv/bin/activate
If you plan to install our Web UI, you will also need Node.js verion 20.11.1 LTS and above

安装
要安装 Project Moonshot 的全部功能：

# Install Project Moonshot's Python Library
pip install "aiverify-moonshot[all]"# Clone and install test assets and Web UI
python -m moonshot -i moonshot-data -i moonshot-ui

python -m moonshot web

当然我自身工作不涉及评估，有需求的网友可以测试一下看看。