一个新的LLM训练方法，通过将训练分散到不同的边缘设备上以保持数据隐私，同时最大化利用边缘设备的算力。

SmolLM2是HuggingFace团队推出的轻量化AI模型系列，支持在资源有限的设备上运行，提供多个参数版本（135M、360M和1.7B），能够处理多种任务，特色是体积小、速度快，开发者友好，支持多种集成和部署方式。

基于TensorRT实现的Streaming-LLM技术，旨在支持LLM模型进行无限输入长度的推理，提供高效、实时的AI服务。

一套全新的轻量级、多语种支持的语言模型，专为推理、编程和工具使用设计，可在计算资源受限的环境中运行，适合企业使用和定制

一个创新的基准测试框架，专门评估大语言模型(LLM)和视觉语言模型(VLM)在游戏环境中的智能Agent能力。支持本地部署和主流AI API集成，提供完整的评估工具集，可用于测试模型在长期交互任务中的推理表现。

Hailo通过先进的处理器和软件解决方案，专注于边缘设备上的AI能力，降低延迟，提升效率，适用于汽车、工业自动化等多个领域。

在这篇论文中，研究人员修改了Chinchilla扩展定律，以计算最佳的LLM参数数量和预训练数据大小，以训练和部署具有给定质量和推理需求的模型。