内存缓存服务器是一个模型上下文协议(MCP)服务器,它能够在语言模型交互过程中高效缓存数据,从而减少代币消耗。该服务器与任何MCP客户端以及使用令牌的任何语言模型都兼容。
按照以下步骤安装内存缓存服务器:
git clone git@github.com:ibproduct/ib-mcp-cache-server
cd ib-mcp-cache-server
npm install
npm run build
{
"mcpServers": {
"memory-cache": {
"command": "node",
"args": ["/path/to/ib-mcp-cache-server/build/index.js"]
}
}
}
当服务器正常运行时,您会在终端看到以下情况:
服务器通过以下方式减少代币消耗:
Cache-Control: no-cache头。git clone git@github.com:ibproduct/ib-mcp-cache-server
cd ib-mcp-cache-server
npm install
npm run build
{
"mcpServers": {
"memory-cache": {
"command": "node",
"args": ["/path/to/ib-mcp-cache-server/build/index.js"]
}
}
}
所有配置参数如下:
| 属性 | 详情 |
|---|---|
MAX_ENTRIES |
最大缓存条目数,默认为10000。 |
MAX_MEMORY |
最大缓存占用内存,默认为500MB。 |
DEFAULT_TTL |
默认缓存有效期,单位秒,默认3600秒(1小时)。 |
CHECK_INTERVAL |
缓存检查间隔,默认60秒。 |
STATS_INTERVAL |
统计信息更新间隔,默认60秒。 |
服务器通过自动缓存、过期机制和命中率统计来减少代币消耗。
服务器启动时加载配置文件并初始化缓存,定期检查缓存空间,支持设置最大内存占用。
MAX_ENTRIES以提高命中率。DEFAULT_TTL可以减少缓存失效次数。可以在MCP客户端中设置环境变量覆盖默认值:
{
"mcpServers": {
"memory-cache": {
"command": "node",
"args": ["/path/to/build/index.js"],
"env": {
"MAX_ENTRIES": "5000",
"MAX_MEMORY": "209715200", // 200MB
"DEFAULT_TTL": "7200", // 2 hours
"CHECK_INTERVAL": "120000", // 2 minutes
"STATS_INTERVAL": "60000" // 1 minute
}
}
}
}
您也可以指定一个自定义的配置文件路径:
{
"env": {
"CONFIG_PATH": "/path/to/your/config.json"
}
}
服务器将:
要观察缓存的实际效果,请尝试以下场景:
缓存正常工作时,您会注意到: