MM-RLHF 是一个多模态大语言模型对齐项目，旨在通过高质量指令数据和先进算法，提升模型在图像、视频理解和安全任务中的表现。该项目提供了20k高质量指令数据，覆盖多种任务，并提出全新的MM-DPO算法，显著提升模型性能。此外，项目还包含80k对比对，为强化学习训练提供强大支持。