Atla MCP 服务器提供标准化接口,助力大语言模型(LLM)与 Atla API 交互,实现对先进 LLM 的精准评估。
要使用 MCP 服务器,您需要一个 Atla API 密钥。您可以在此处找到现有密钥,或在此处创建新密钥。
evaluate_llm_response:依据给定评估标准,评估大语言模型对提示的响应。该函数借助底层的 Atla 评估模型,返回一个字典,包含模型响应得分和文本反馈(包含对模型响应的意见)。evaluate_llm_response_on_multiple_criteria:从多个评估标准的角度,评估大语言模型对提示的响应。此函数使用底层的 Atla 评估模型,返回一个列表,其中每个元素都是一个字典,包含某个标准的评估得分和反馈。我们推荐使用uv来管理 Python 环境。请参阅此处获取安装说明。
安装好uv并获取 Atla API 密钥后,您可以手动运行 MCP 服务器:
ATLA_API_KEY= uvx atla-mcp-server
有关使用 OpenAI 代理 SDK 与 MCP 服务器交互的更多细节,请参阅官方文档。
pip install openai-agents
import os
from agents import Agent
from agents.mcp import MCPServerStdio
async with MCPServerStdio(
params={
"command": "uvx",
"args": ["atla-mcp-server"],
"env": {"ATLA_API_KEY": os.environ.get("ATLA_API_KEY")}
}
) as atla_mcp_server:
...
有关在 Claude Desktop 中配置 MCP 服务器的更多细节,请参阅官方快速入门指南。
将以下内容添加到claude_desktop_config.json文件中:
{
"mcpServers": {
"atla-mcp-server": {
"command": "uvx",
"args": ["atla-mcp-server"],
"env": {
"ATLA_API_KEY": ""
}
}
}
}
重启 Claude Desktop 以应用更改。现在,您应该会在可用的 MCP 工具列表中看到atla-mcp-server选项。
有关在 Cursor 中配置 MCP 服务器的更多细节,请参阅官方文档。
将以下内容添加到~/.config/cursor.json文件中:
{
"mcpServers": {
"atla-mcp-server": {
"command": "uvx",
"args": ["atla-mcp-server"],
"env": {
"ATLA_API_KEY": ""
}
}
}
}
欢迎为该项目做出贡献!请访问此处查看如何参与。
此项目受MIT License的保护。