基于ColossalAI的软件缓存方法来动态管理CPU和GPU内存空间中的极大嵌入表,能够在单个GPU上高效训练包括91.10 GB嵌入表的DLRM模型,仅需分配3.75 GB的CUDA内存,适用于大规模数据集。
CachedEmbedding的特点:
1. 动态管理CPU和GPU内存空间
2. 支持极大嵌入表的高效训练
3. 在单个GPU上处理大规模数据集
4. 基于ColossalAI的高效内存使用
CachedEmbedding的功能:
1. 用于训练DLRM模型
2. 适用于Criteo 1TB数据集
3. 可与PyTorch的EmbeddingBag结合使用
相关推荐
暂无评论...