Mcp Server For Document Processing

🚀 MCP 服务器运行指南

MCP 是一个专为科学、技术和金融领域的文本分析设计的多篇文献处理系统。它集成了高效的管道和 Web 服务器，支持多种语言处理功能，能为用户提供强大的文本分析能力。

🚀 快速开始

MCP 是一个多篇文献处理系统，专为科学、技术和金融领域的文本分析设计。它包括一个高效的管道和 Web 服务器，支持多种语言处理功能。

📦 安装指南

安装步骤

1. 克隆仓库

   git clone https://github.com/donphi/MCP.git
   cd MCP
   

2. 安装依赖项

   • 对于管道：

     pip install -r requirements.pipeline.txt
     

   • 对于服务器：

     pip install -r requirements.server.txt
     

3. 配置环境变量 在 .env 文件中设置以下变量：

   CHUNK_SIZE=500
   OVERLAP=100
   MODEL_NAME=sentence-transformers/all-mpnet-base-v2
   

   如果需要使用免费的本地模型，注释掉 MODEL_NAME。

4. 启动管道

   python src/pipeline.py
   

5. 启动服务器

   python src/server.py
   

✨ 主要特性

管道组件

文档处理流程

1. 文档加载：支持多种格式，包括 PDF、DOCX 和文本文件。
2. 类型检测：使用 spaCy 进行语言模型训练，识别文档类型。
3. 分块策略：
   • 科学论文：按章节分割，保留参考文献。
   • 财务报告：保持表格和数字部分。
   • 技术文档：保存代码块和示例。
   • 文本通用：使用 spaCy 的语义边界识别。

管道工具

• enhanced_chunking.py：提供更智能的分块方法。
• inspect_chunks.py：分析现有分块结构。
• visualize_chunks.py：可视化分块结果。

服务器功能

核心服务

1. 文档存储：
   • 使用 ChromaDB 存储向量数据库。
   • 支持分布式文件系统集成。
2. 查询处理：
   • 多模态检索（文本 + 图像）。
   • 支持自然语言查询。
   • 提供相关性评分和上下文分析。

其他功能

• 文档管理：包括版本控制、访问权限设置。
• 统计分析：提供分块效率报告。
• 日志系统：记录所有操作和错误信息。

🔧 技术细节

故障排除

• Docker 未找到：确保 Docker 已安装并运行。可通过 docker --version 检查。
• “无效引用格式” 错误：
  • 原因 1：未执行构建步骤，先运行 docker-compose build server。
  • 原因 2：使用 Docker 和 Docker Compose 的组合。
• API 密钥问题：可以使用免费的本地模型无需密钥。
• 缺失 sentence-transformers 包：系统会自动安装所需包。
• Chroma 数据库未找到：确保已运行管道处理文档。
• 连接问题：检查 MCP 配置是否正确。
• 分块效率低：调整 CHUNK_SIZE 和 OVERLAP 参数。

优化建议

1. 性能调优：
   • 根据 CPU 核心数调整并行处理线程。
   • 使用 SSD 提升存储速度。
2. 模型选择：
   • 根据需求选择合适的 embedding 模型。
   • 对于大规模数据，使用分布式训练。
3. 扩展性：
   • 部署到 Kubernetes 集群。
   • 配置自动缩放策略。

安全注意事项

• 访问控制：使用 HTTPS 和身份验证。
• 日志监控：实施实时日志分析。
• 定期备份：设置自动化备份任务。

📚 详细文档

附录

常见问题解答

1. 如何处理大文件？
   • 分片上传和并行处理。
2. 支持哪些语言？
   • 英文、中文和其他部分欧洲语言。
3. 是否支持增量更新？
   • 是，提供版本控制功能。

联系方式

• 邮件：support@MCP.com
• GitHub：https://github.com/donphi/MCP

该指南详细介绍了 MCP 服务器的安装、配置和使用方法，并提供了故障排除和优化建议。