M2RAG
需求人群
M2RAG适合从事多模态语言模型研究的学者和开发者，尤其是那些希望在多模态上下文中提升模型检索和生成能力的用户。它为研究人员提供了一个标准化的测试平台，能够帮助他们评估和改进多模态大语言模型的性能。使用场景
研究人员可以使用M2RAG评估多模态大语言模型在图像描述任务中的性能。开发者可以利用M2RAG提供的代码和数据集，快速复现多模态检索增强生成的实验结果。企业可以基于M2RAG的多模态问答功能，开发智能客服系统，提升用户体验。产品特色
支持多模态任务，包括图像描述、多模态问答、事实验证和图像重排提供多模态检索增强指令微调（MM-RAIT）方法，提升模型在多模态上下文学习中的表现兼容多种预训练模型，如MiniCPM-V 2.6和Qwen2-VL提供完整的数据集和代码实现，方便研究人员复现和扩展实验支持零样本和微调两种设置，适用于不同的研究需求提供详细的评估指标，用于衡量生成任务的性能支持多模态文档检索，通过FAISS等技术实现高效检索提供预训练模型的微调脚本，方便用户快速上手使用教程
- 11. 克隆代码库：`git clone https://github.com/NEUIR/M2RAG`
- 22. 安装依赖：根据`requirements.txt`文件安装所需的Python包
- 33. 准备数据集：下载M2RAG数据集或按照说明自行构建，并放置在`data`文件夹中
- 44. 编码测试集查询和多模态语料库：运行`script/get_embed_test.sh`
- 55. 检索最相关的多模态文档：运行`script/retrieval_test.sh`
- 66. 使用检索到的文档进行零样本推理：运行`script/inference_cpmv.sh`或`script/inference_qwen.sh`
- 77. 对于图像重排任务，使用`script/compute_ppl_minicpmv.sh`或`script/compute_ppl_qwen2vl.sh`进行评估
- 88. 使用`src/evaluation`中的脚本评估生成任务的性能
团队介绍
了解 M2RAG 背后的团队成员，包括创始人、开发人员、设计师和产品人员。
该产品暂无团队信息。