FasterTransformer是一个旨在提高Transformer模型速度和效率的工具，支持多种架构如BERT和GPT，提供高性能的推理和训练，且易于集成。它支持FP16和INT8量化技术，能够在NVIDIA GPU上实现高效的模型推理和快速训练，适合在生产环境中部署优化后的模型。

NVIDIA官方推出的库，用于压缩transformer模型中的KV缓存，最大可节省约35%的内存空间。kvpress通过多种缓存修剪方法，使大型语言模型的缓存压缩变得简单，降低内存使用并提高解码速度。

NVIDIA官方推出的库，用于压缩transformer模型中的KV缓存，最大可节省约35%的内存空间。kvpress通过多种缓存修剪方法，使大型语言模型的缓存压缩变得简单，降低内存使用并提高解码速度。

NyunZero是一个连接用户基础设施的工具，旨在快速适配和压缩视觉模型以及大语言模型（LLMs）。用户可以在几次点击中加速对象检测模型，或获得与硬件兼容的快速量化LLMs，适应用户的数据需求。

这是一个新的简单替代方案，基于计算输入激活的权重大小和范数之间的逐元素乘积。

一种新的优化器，结合了Prodigy和ScheduleFree的优点，旨在减少机器学习训练中的超参数设置，提高模型训练的效率和稳定性。通过简化参数调整过程，帮助用户更专注于模型开发和优化。

Photocode是一款先进的AI工具，旨在彻底改变开发者与代码的互动方式，使过程更加直观、高效且减少错误。这个工具为程序员提供了全面的辅助，包括代码编写、分析、调试和性能优化等各个编程生命周期的功能。

旨在促进能在IMO竞赛中赢得金牌的开放共享AI模型诞生的比赛，设立于2023年11月。