🚀 Firecrawl MCP 服务器
FireCrawl MCP（管理控制面板）服务器是一个集成解决方案，融合了网页抓取、日志记录和大语言模型（LLM）生成功能。它通过命令行界面提供服务，支持智能爬虫操作、深入研究、生成标准化文件（如llms.txt）、信用监控以及错误处理，为用户提供了全面且高效的信息处理能力。
🚀 快速开始
若要使用 Firecrawl MCP 服务器，需先完成配置并安装依赖项，随后启动服务器。具体步骤可参考以下“配置”和“开发指南”部分。
✨ 主要特性
- 集成化解决方案：融合网页抓取、日志记录和大语言模型生成功能。
- 命令行界面：通过命令行提供各项功能，方便操作。
- 多功能支持：涵盖智能爬虫、深入研究、标准化文件生成、信用监控和错误处理等。
📦 安装指南
安装依赖项
使用以下命令安装所需依赖项：
pip install -r requirements.txt
运行服务器
启动服务器之前，请确保已设置 FIRECRAWL_API_KEY 环境变量。然后运行以下命令：
python server.py
📚 详细文档
配置
环境变量
使用以下环境变量来配置服务器：
| 变量名 | 类型 | 描述 |
|---|---|---|
FIRECRAWL_API_KEY |
String | 必需。用于身份验证的 API 密钥。 |
FIRECrawl_HOST |
String | 可选。指定服务器主机，默认为 localhost。 |
FIRECrawl_PORT |
Integer | 可选。指定服务器端口，默认为 3000。 |
示例配置
# 设置环境变量
export FIRECRAWL_API_KEY="your_api_key_here"
功能模块
爬虫框架（firecrawl_crawler）
工具名称：firecrawl_crawler
- 描述：用于从指定 URL 开始进行深度网页抓取。
- 示例用法：
{
"name": "firecrawl_crawler",
"arguments": {
"url": "https://example.com",
"maxDepth": 3,
"outputFormat": "json"
}
}
- 参数：
url(字符串，必需)：爬取的起始 URL。maxDepth(数字，可选)：爬取的最大深度，默认为2。outputFormat(字符串，可选)：输出格式，可选值为"json"或"xml"。
- 示例响应：
{
"content": [
{
"type": "text",
"text": "成功爬取 URL: https://example.com"
}
],
"isError": false
}
日志系统
- 描述：提供全面的日志记录功能，包括操作状态、性能指标、信用使用情况、速率限制以及错误条件。
- 示例日志消息：
[INFO] FireCrawl MCP Server 已成功初始化
[INFO] 正在爬取 URL: https://example.com
[WARNING] 信用使用量已达到警告阈值
[ERROR] 速率限制已超过，2 秒后重试...
错误处理
- 描述：提供强大的错误处理功能，包括自动重试、速率限制处理、详细错误消息、信用使用警告以及网络弹性。
- 示例错误响应：
{
"content": [
{
"type": "text",
"text": "请求的参数无效"
}
],
"isError": true,
"errorDetails": "参数格式不正确"
}
开发指南
提交代码
请按照以下步骤提交代码：
- 创建功能分支。
- 提交您的更改。
- 提交拉取请求到
main分支。
遵守规范
- 遵循 PEP8 代码风格指南。
- 确保单元测试覆盖所有新功能。
- 在提交前检查代码质量。
👏 鸣谢
感谢以下贡献者：
- [Contributor Name] - 初始开发
- [Contributor Name] - 功能增强
📄 许可证
MIT License
版权 (c) 年份 作者名称
允许任何人免费使用、复制、修改、合并、发布和分发此软件及其衍生作品，但需遵守以下条件：
1. 在分发的副本中保留所有版权声明、许可声明和本免责声明。
2. 不对因使用此软件而产生的任何责任承担担保。
对于因使用或无法使用此软件而导致的任何形式的损害，包括但不限于直接或间接的损失或损坏，作者及其贡献者均不承担责任。