Llama2.jl是一个用Julia编写的库,旨在提供与Llama2.c相同的功能,结合高性能和易用性,方便用户进行数据处理和数学运算。
foyer是一个用Rust语言编写的混合缓存库,旨在提供高效且易用的缓存解决方案。它完美融合了内存与磁盘缓存,支持即插即用的缓存算法,能够在高并发环境下稳定运行,且利用Rust的类型系统实现零拷贝缓存,提升性能。同时,友好的API设计使得开发者无论新手还是老手都能轻松上手,方便接入主流的监控系统。
Visiomera是一个为企业提供自动化解决方案的平台,帮助企业构建智能工作流,保持竞争优势。
socketify.py是一个为PyPy3和Python3提供WebSockets和高性能Http/Https服务器的项目,旨在让开发者能够轻松创建高效的网络应用。
用于与Copilot(之前叫Bing Chat)进行交互的Python客户端,支持连接到Copilot、进行对话、提问问题、附加图片和网页内容等功能,以及支持异步操作和流式响应等特点
asynq 是一个 Go 库,用于对任务进行排队并通过 worker 异步处理它们。由 Redis 提供支持,旨在可扩展且易于上手。
LETSQL专注于人工智能管道预处理的延迟计算系统,通过跨引擎缓存和静态规划来优化性能,支持从研究到生产环境的无缝过渡,并提供便携式用户自定义函数。
由知乎和ModelBest公司开发的高性能LLM推理引擎,针对PCIe GPU优化,支持Llama等大模型变体。
bunny-llama 是一个基于 llama.cpp 的开发工具,结合 bun.sh 和 llama.cpp bindings,支持热模块重载,允许开发者在应用运行时实时修改代码,无需手动重启,极大提升开发效率。
siliconflow提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型