借助 Model Context Protocol,使用 Mandoline 的评估框架,让 Claude Code、Claude Desktop 和 Cursor 等 AI 助手能够反思、评估并持续改进自身性能。
大多数用户应从此处开始。使用 Mandoline 托管的 MCP 服务器,将评估工具集成到你的 AI 助手中。
对于以下每个集成,请将 sk_**** 替换为你从 mandoline.ai/account 获取的实际 API 密钥。
使用 CLI 将 Mandoline MCP 服务器添加到 Claude Code:
claude mcp add --scope user --transport http mandoline https://mandoline.ai/mcp --header "x-api-key: sk_****"
你可以使用 --scope user(跨项目)或 --scope project(仅当前项目)。
⚠️ 重要提示
配置更改后,请重启所有活动的 Claude Code 会话。
验证:在 Claude Code 中运行 /mcp,查看 Mandoline 是否列为活动服务器。
官方文档:Claude Code MCP 指南
编辑你的配置文件(设置 > 开发者 > 编辑配置):
~/Library/Application Support/Claude/claude_desktop_config.json%APPDATA%/Claude/claude_desktop_config.json{
"mcpServers": {
"Mandoline": {
"command": "npx",
"args": [
"-y",
"mcp-remote",
"https://mandoline.ai/mcp",
"--header",
"x-api-key: ${MANDOLINE_API_KEY}"
],
"env": {
"MANDOLINE_API_KEY": "sk_****"
}
}
}
}
此配置全局应用于所有对话。
⚠️ 重要提示
配置更改后,请重启 Claude Desktop。
验证:点击“搜索和工具”按钮时,查看是否有 Mandoline 工具。
官方文档:MCP 快速入门指南
创建或编辑你的 MCP 配置文件:
{
"mcpServers": {
"Mandoline": {
"url": "https://mandoline.ai/mcp",
"headers": {
"x-api-key": "sk_****"
}
}
}
}
你可以使用全局配置(影响所有项目)~/.cursor/mcp.json 或项目本地配置(仅当前项目).cursor/mcp.json(在项目根目录中)。
⚠️ 重要提示
配置更改后,请重启 Cursor。
验证:检查输出面板(Ctrl + Shift + U)→“MCP 日志”以确认连接成功,或在 Composer Agent 中查找 Mandoline 工具。
官方文档:Cursor MCP 指南
仅在你想在本地运行服务器或为开发做贡献时需要。大多数用户应使用上述托管服务器。
先决条件:Node.js 18+ 和 npm
git clone https://github.com/mandoline-ai/mandoline-mcp-server.git
cd mandoline-mcp-server
npm install
npm run build
cp .env.example .env.local
# 编辑 .env.local 以自定义 PORT、LOG_LEVEL 等。
npm start
服务器默认运行在 http://localhost:8080。
若要使用本地服务器而非托管服务器,请在上述客户端配置中,将 https://mandoline.ai/mcp 替换为 http://localhost:8080/mcp。
集成完成后,你可以在 AI 助手对话中直接使用 Mandoline 评估工具。
| 工具 | 用途 |
|---|---|
create_metric |
为特定任务定义自定义评估标准 |
batch_create_metrics |
一次操作中创建多个评估指标 |
get_metric |
获取特定指标的详细信息 |
get_metrics |
通过过滤和分页浏览指标 |
update_metric |
修改现有指标定义 |
| 工具 | 用途 |
|---|---|
create_evaluation |
根据指标对提示/响应进行评分 |
batch_create_evaluations |
根据多个指标评估相同内容 |
get_evaluation |
获取评估结果和分数 |
get_evaluations |
通过过滤和分页浏览评估历史 |
update_evaluation |
为评估添加元数据或上下文 |
在 AI 助手中直接访问 Mandoline 的文档和参考资料,包括模型比较指南和评估最佳实践。
本项目采用 Apache-2.0 许可证,详情请参阅 LICENSE 文件。