AI开源项目

BitNet-微软的1-bit LLM变体研究

BitNet是微软发布的1-bit LLM变体研究,支持在CPU上快速无损地推理1.58位模型。该项目通过将每个参数表示为三进制数 {-1, 0, 1},显著改善了时延、内存利用、吞吐量和能耗,能够在...

BitNet是微软发布的1-bit LLM变体研究,支持在CPU上快速无损地推理1.58位模型。该项目通过将每个参数表示为三进制数 {-1, 0, 1},显著改善了时延、内存利用、吞吐量和能耗,能够在苹果M2等CPU上运行,适用于1.58位模型的无损推理。
BitNet的特点:
1. 每个参数都是三进制数 {-1, 0, 1}
2. 显著改善时延、内存利用、吞吐量和能耗
3. 支持在苹果M2等CPU上运行
4. 适用于1.58位模型的无损推理

BitNet的功能:
1. 在CPU上运行BitNet以进行快速推理
2. 使用BitNet进行1.58位模型的测试和评估
3. 在边缘设备上实现高效的AI推理

相关推荐

暂无评论

暂无评论...