MeZO是一个通过正向传递实现语言模型微调的工具,无需反向传播,极大地简化了训练过程,同时支持多种预训练语言模型,提升了训练效率和资源利用率。
针对 LiteRT 模型的高级后训练量化工具,旨在帮助开发者优化资源密集型模型(如 GenAI 模型)以在边缘设备上实现最佳性能。该工具支持灵活的后训练量化,专为提高边缘设备的运行效率而设计,适用于需要减少模型大小和计算需求的应用场景。
Triplit 是一个在服务器和浏览器之间实时同步数据的开源数据库,支持多种数据结构,易于集成,性能高效,适用于各种应用场景。
Anyscale是一个统一的计算平台,旨在利用Ray简化可扩展AI和Python应用的开发、部署和管理。用户可以轻松地开始使用Anyscale端点进行服务和微调开源大型语言模型(LLMs)。
Meta 发布的 Llama 3.1 1B和3B的官方量化版本,提供了更小的内存占用、更快的设备推理速度、准确性和便携性。
VPTQ是一种针对大型语言模型的极低比特向量后训练量化方法,旨在通过量化技术提高模型的计算效率和存储效率,同时保持模型性能。该项目适用于各种大型语言模型的优化,能够显著减少模型的内存占用和计算资源需求。
LanceDB是一个开创性的工具,旨在彻底改变企业和个人处理多模态AI应用的方式。它提供强大的数据库解决方案,专门满足AI驱动环境的需求,简化了管理文本、图像、视频和音频等多种数据类型的复杂性,适用于开发者、数据科学家和商业分析师。
一个结合了entropix技术和llama模型的创新实验室,专注于通过C++和Python语言提升gguf模型的智能水平,尽管答案的一致性还在改进中,但运行速度非常快,适合调整参数以适应不同模型或问题类型。
ezML是一个基于云的平台,旨在帮助开发者快速集成计算机视觉功能,无需训练数据和机器学习代码,只需三步即可完成。通过构建管道、配置层和轻松集成到应用程序中,用户可以在短短30秒内实现自定义的计算机视觉功能。