🚀 RAG架构概述
本项目基于RAG（Retrieval-Augmented Generation）架构，借助API Gateway和Lambda函数处理请求，结合OpenAI、OpenSearch Serverless和S3存储桶完成文本检索与生成任务。文档将详细介绍项目的部署流程、功能模块以及常见问题的解决方案。
🚀 快速开始
本项目基于RAG架构，利用API Gateway和Lambda函数处理请求，结合OpenAI、OpenSearch Serverless和S3存储桶完成文本检索与生成。下面为你介绍部署和使用的基本步骤。
📦 安装指南
环境准备
- 确保已安装AWS CLI工具并配置好相应的IAM权限。
- 安装Python 3.8或更高版本，并确保已安装
boto3,openai, 和pytest等依赖库。
代码结构
project/
├── src/
│ └── lambda_function.py # Lambda函数实现逻辑
├── stack/
│ └── rag_mpc_stack.py # CDK堆栈定义文件
└── example.py # 示例脚本，演示API调用方式
依赖管理
- 添加Python包至
pyproject.toml并运行make deps进行安装。 - 确保所有依赖版本与项目兼容。
部署步骤
# 安装依赖
pip install -r requirements.txt
# 构建项目
make build
# 部署到AWS
make deploy AWS_PROFILE=your-profile AWS_REGION=us-east-1
✨ 主要特性
API Gateway
- 提供HTTP API接口，监听
/mcp路径。 - 支持GET请求用于服务发现，POST请求处理任务执行。
Lambda Function
- 解析MCP协议的请求。
- 从Secrets Manager获取OpenAI密钥。
- 执行向量检索（基于OpenSearch Serverless）和内容生成（调用OpenAI API）。
- 管理S3存储桶中的文档。
数据存储
- 使用OpenSearch Serverless进行高效向量检索。
- 通过S3存储原始文本文件，支持版本控制和生命周期管理。
安全机制
- IAM策略严格控制Lambda函数的权限。
- Secrets Manager确保敏感信息的安全传输与存储。
- API Gateway集成身份验证功能，确保只有授权用户可以访问服务。
💻 使用示例
环境变量配置
export API_KEY=your-api-key
export API_URL=$(aws cloudformation describe-stacks --stack-name rag-stack | jq -r '.Stacks[0].Outputs[].OutputValue')
服务发现请求
import requests
response = requests.get(f"{API_URL}/mcp/health")
print(response.json())
文本生成任务
payload = {
"prompt": "请简述RAG技术的核心优势。",
"temperature": 0.7,
"max_tokens": 500
}
response = requests.post(f"{API_URL}/mcp/generate", json=payload, headers={'Authorization': f'Bearer {API_KEY}'})
print(response.json())
📚 详细文档
开发注意事项
- 测试环境：使用
make test运行单元测试，并通过mock模块模拟外部依赖（如AWS、OpenAI等）。 - 日志监控：部署后可通过
make logs实时查看Lambda函数的日志输出，便于调试和性能优化。 - 代码更新：修改
src/目录下的业务逻辑代码后，需重新构建并部署新的Lambda版本。
常见问题解决
部署失败
- 检查IAM权限是否正确。
- 确保所有资源栈状态为
CREATE_COMPLETE。 - 查看CloudFormation控制台的事件日志，定位具体错误。
API响应慢
- 优化OpenSearch索引策略。
- 增加Lambda函数的内存配额或超时时间。
- 使用AWS提供的性能监控工具（如X-Ray）进行分析。
密钥泄露
- 定期检查Secrets Manager中的凭证状态。
- 配置自动轮换策略，减少人为操作风险。
- 启用SSO（单点登录）功能，加强身份验证。
扩展性问题
- 根据负载情况配置Auto Scaling组。
- 使用API Gateway的速率限制功能控制并发请求。
- 预分配足够资源，避免高峰期性能瓶颈。
监控与维护
- 日志分析：通过ELK Stack或S3存储的日志文件进行深入分析。
- 性能优化：定期评估系统负载，调整架构参数。
- 版本控制：记录每次部署的变更日志，便于回滚和追溯。
以上文档完整描述了RAG架构项目的部署与管理流程。如需进一步帮助，请参考官方文档或联系技术支持团队。