🚀 数据爬取与导入工具
本项目提供了便捷的方式来爬取数据并将其导入数据库，同时还支持生成SQL文件等操作，能有效帮助你处理相关数据。
🚀 快速开始
安装必要的依赖
运行以下命令安装 supabase 依赖：
pip install supabase
爬取数据并直接导入数据库
进入 src/mcp_crawler 目录，然后执行以下命令爬取数据并导入数据库：
cd src/mcp_crawler
python crawl_mcp_data.py
只爬取服务器数据
若你只需要爬取服务器数据，可使用以下命令：
python crawl_mcp_data.py --server-only
只爬取客户端数据
若你只需要爬取客户端数据，可使用以下命令：
python crawl_mcp_data.py --client-only
同时导入数据库并导出SQL文件（可选）
若你需要同时将数据导入数据库并导出为SQL文件，可使用以下命令：
python crawl_mcp_data.py --export-sql mcp_data.sql
只生成SQL文件，不导入数据库
若你只需要生成SQL文件而不导入数据库，可使用以下命令：
python crawl_mcp_data.py --no-import --export-sql mcp_data.sql