SimSIMD是一个基于SIMD指令集的库,旨在提供高效的相似性度量和距离计算,适用于大规模数据集,支持多种相似性度量算法,并提供易于使用的API和多种编程语言接口。
Functime是一个用于大规模数据集时间序列机器学习的Python库,支持高效的数据处理和多种预测算法,帮助用户进行灵活的模型选择和评估。
基于ColossalAI的软件缓存方法来动态管理CPU和GPU内存空间中的极大嵌入表,能够在单个GPU上高效训练包括91.10 GB嵌入表的DLRM模型,仅需分配3.75 GB的CUDA内存,适用于大规模数据集。