AI开源项目

llama2-webui-本地运行Llama 2的Gradio界面

在本地使用Gradio用户界面在GPU或CPU上运行Llama 2,支持Linux/Windows/Mac系统。

在本地使用Gradio用户界面在GPU或CPU上运行Llama 2,支持Linux/Windows/Mac系统。
llama2-webui的特点:
1. 支持Llama-2-7B/13B/70B模型
2. 支持8位和4位模式
3. 支持GPU推理(6 GB VRAM)
4. 支持CPU推理

llama2-webui的功能:
1. 在本地运行Llama 2模型
2. 通过Gradio UI与模型进行交互
3. 在不同操作系统(Linux/Windows/Mac)上使用
4. 选择不同的模型和推理模式(8位或4位)

相关推荐

暂无评论

暂无评论...