NanoLLM 是一个专门为大语言模型(LLM)提供优化本地推理的平台,支持 HuggingFace 风格的 API,具备量化、视觉/语言模型、多模态Agent、语音处理、矢量数据库集成和检索增强生成(RAG)等功能。
总结如何更好地集成 ChatGPT 的相关模式,方便于我们后续在其它 LLM(大语言模型)中使用。