llama2.c 是一个用 C 语言编写的大模型项目,具有高度的移植性,能够在支持 Linux 的系统上运行,包括 Commodore C-64。该项目展示了在大模型领域,C语言在跨平台兼容性方面的优势,特别是在资源受限的设备上。
通过蒸馏技术将复杂模型中的知识转移到更小的模型中,以便在资源受限的设备上有效运行AI模型。
LiteRT是Google AI Edge团队推出的高性能、可信赖的边缘AI运行时,旨在继承TensorFlow Lite的优势,并拓展其愿景,支持多种AI框架并优化资源利用率,方便集成和部署。
mllm是一个专为移动和边缘设备优化的轻量级多模态大型语言模型推理引擎,能够在无需依赖外部库的情况下,支持多种模型和硬件架构,提供快速推理能力。
sherpa 是一个针对 llama.cpp 模型的演示应用,专为移动设备设计,提供高效的模型推理和用户友好的界面。
Gemini是一个平台,用户可以在手机上直接访问谷歌最优秀的AI模型。通过下载应用并创建账户,用户可以使用多种AI模型进行不同的用途。
Brilliant推出的Introduction to Neural Networks课程
这是一本由李宏毅老师和Datawhale团队出品的电子书,整理了李老师的视频教程,涵盖深度学习的理论与实战,提供丰富的学习资源和配套代码,适合各层次的学习者。
Intel的LLM加速库,旨在通过使用Intel显卡和带NPU的CPU来加速主流深度学习框架的运行。
音频基础模型:支持多语言音频理解的端侧部署工具,具备极低推理延迟,适用于语音识别、语种识别、语音情感识别和声学事件分类/检测
CompressGPT 是一个提示压缩器,可以为大多数基于 LangChain 工具的提示减少约70% 的Token,只需更改一行代码,帮助用户在文本生成和处理时大幅降低成本和提高效率。