在ESP32微控制器上运行大型语言模型(LLM),探索其在资源受限环境下的可能性,特色包括使用tinyllamas模型和对llama.2c的优化以提高性能。
EdgeVLA是一个开源的边缘视觉-语言-行动模型,旨在增强机器人对视觉信息的理解和执行指令的能力。该项目专为边缘计算环境设计,支持社区贡献和改进。
K3s是一个轻量级的Kubernetes发行版,专为资源受限的环境和边缘计算而设计。它具有低资源占用、简单易用的特点,非常适合边缘计算和物联网设备的快速部署。K3s集成了SQLite作为默认存储,同时支持外部存储,确保高可用性,并与Kubernetes API兼容,支持大多数Kubernetes生态系统中的工具和应用。
SmolLM2是一款轻量级语言模型,提供135M、360M和1.7B参数版本,特别适合在各种设备上运行。该模型能够处理多种自然语言处理任务,具有体积小、速度快的特点,非常适合边缘计算和移动设备应用。
一个新的LLM训练方法,通过将训练分散到不同的边缘设备上以保持数据隐私,同时最大化利用边缘设备的算力。