需求人群
该产品适用于需要在大规模分布式环境中高效运行混合专家模型(MoE)的研究人员、工程师和企业用户。它特别适合那些需要优化通信性能、降低延迟并提高计算资源利用率的深度学习项目。无论是用于训练大型语言模型还是进行高效的推理任务,DeepEP 都能提供显著的性能提升。
使用场景
在大规模分布式训练中,使用 DeepEP 的高吞吐量内核加速 MoE 模型的 dispatch 和 combine 操作,显著提高训练效率。在推理阶段,利用 DeepEP 的低延迟内核进行快速解码,适合对实时性要求较高的应用场景。通过通信-计算重叠方法,DeepEP 在不占用额外 GPU 资源的情况下,进一步优化了推理任务的性能。
产品特色
支持高吞吐量和低延迟的全连接 GPU 内核,适用于 MoE 模型的 dispatch 和 combine 操作。优化了非对称域带宽转发,例如从 NVLink 域到 RDMA 域的数据转发。支持低延迟内核,使用纯 RDMA 通信,适合延迟敏感的推理解码任务。提供基于钩子的通信-计算重叠方法,不占用 GPU SM 资源,提高资源利用率。支持多种网络配置,包括 InfiniBand 和 RDMA over Converged Ethernet (RoCE)。
使用教程
11. 确保系统满足硬件要求,如 Hopper 架构的 GPU 和支持 RDMA 的网络设备。22. 安装依赖项,包括 Python 3.8 及以上版本、CUDA 12.3 及以上版本和 PyTorch 2.1 及以上版本。33. 下载并安装 DeepEP 的依赖库 NVSHMEM,按照官方提供的安装指南进行操作。44. 使用 `python setup.py install` 命令安装 DeepEP。55. 在项目中导入 `deep_ep` 模块,并根据需要调用其提供的 dispatch 和 combine 等功能。