react-llm是一个易于使用的无头React Hooks库,允许在浏览器中通过WebGPU运行大型语言模型(LLM)。只需调用useLLM(),即可在不离开浏览器的情况下使用Vicuna 13B,并支持自定义系统提示。
mlc-llm是一个能够在任何设备上编译和运行大语言模型的项目,包括移动设备和消费级电脑,支持多种GPU和浏览器环境。
本项目提供与大型语言模型(如OpenAI的GPT-4)互动的技巧和窍门,帮助用户设计有效的提示,并优化模型的响应质量。
Text Theater是一个基于AI的Discord机器人,可以根据用户的提示模拟200多部热门电视剧的场景,让用户体验到他们喜爱的节目。用户可以使用特定命令请求新的场景,生成全新的对话,捕捉节目的精髓。
一款能让你在浏览器中使用任何你想要的大型语言模型(LLM)来提示、运行、编辑和部署全栈Web应用的工具。
该项目是一个专注于大型语言模型(LLM)终身学习的资源库,收集了相关的精华综述、研究资源和论文,旨在促进LLM的持续学习能力和性能提升。
MLX Engine是一个开源项目,旨在利用Apple M系列芯片的硬件加速能力,以超快的速度和100%本地、离线的方式运行大型语言模型(LLM)。它能够在M3芯片上以约250 tok/秒的速度运行Llama 3.2 1B模型,始终以结构化JSON格式输出,支持通过代码或Chat UI与模型进行交互,并能同时运行多个模型,用户还可以从Hugging Face下载任何模型。