需求人群
该产品适合从事自然语言处理、大语言模型研究的学者、开发者以及对提升模型推理性能有需求的研究团队。它为用户提供了一种高效、灵活的推理框架,能够帮助他们在推理任务中实现更好的性能和资源利用。
使用场景
使用 AoT 框架对数学问题进行推理,显著提高模型解题准确率。将 AoT 作为插件集成到现有推理框架中,提升整体性能。通过收缩数据集,减少模型推理时的计算开销,提高效率。
产品特色
支持多种推理场景,包括数学、多选题和多跳问答可作为插件与现有测试时扩展方法结合,提升性能通过原子状态表示,提高计算资源利用效率支持多种数据集和模型,如 gpt-4o-mini提供快速启动脚本,方便用户进行实验和测试支持生成收缩后的数据集,用于与其他框架结合开源代码,便于研究人员和开发者进行二次开发
使用教程
11. 克隆项目到本地:`git clone https://github.com/qixucen/atom`22. 创建 `apikey.py` 文件,配置 API 密钥和 URL33. 安装依赖:`pip install -r requirements.txt`44. 使用命令行运行推理脚本,例如:`python main.py --dataset math --start 0 --end 10 --model gpt-4o-mini`55. 在插件模式下生成收缩数据集:`python main.py --dataset math --mode plugin --start 0 --end 10 --model gpt-4o-mini`66. 查看 README.md 文件了解更多功能和参数配置