MInference-高效推理加速工具

星辰语义大模型TeleChat2是由中国电信人工智能研究院研发训练的大语言模型，是首个完全国产算力训练并开源的千亿参数模型，包含大约1150亿个参数。

Cold Compress是一个开源轻量工具包，旨在创建和基准测试基于GPT-Fast的缓存压缩方法，支持自定义和扩展KV缓存压缩技术，提供灵活的解决方案以优化数据存储和访问效率。

数据中心语言模型研究精选：汇总了数据为中心的语言模型研究领域内的趋势项目和优秀论文，包含大规模数据整理、数据质量评估、评估工具包等

Memento 是一个 Python 应用，能够记录您在计算机上执行的所有操作，并让您回溯时间、搜索信息，并与大型语言模型进行对话，以找回您所做的事情。

colima 是一个在mac运行容器运行时（docker和containerd）和k8s的工具，支持 m1芯片。它基于Lima (Linux Machine on Mac) 二次开发，旨在为开发者提供一个更简便的容器和Kubernetes管理解决方案。

diffusers-rs是一个基于Rust和Torch的Diffusers API，旨在提供高性能的图像生成和模型推理功能。它支持多种预训练模型，并提供易于扩展和自定义的架构，适合在机器学习工作流中使用。

这是一个关于2D图像中无监督目标定位的优秀作品的精选列表，涵盖了相关论文、方法分类、最新研究动态及社区讨论。

Casbin是一个支持ACL、RBAC、ABAC等授权模型的开源授权库，适用于Java、Go、Rust、C++、PHP等多种编程语言，致力于提供灵活的策略管理和高性能的访问控制解决方案，已获得近10k的star。

这个开源项目是一个Bob插件，可以利用ChatGPT API对文本进行润色和语法纠错。它可以完美代替Grammarly，并采用机器学习技术实现。

该项目是为北京的码农提供从零开始的买房指导，通过详细的市场分析和实用的购房技巧，帮助用户更好地了解北京的房产市场。

Lima是一个在macOS上运行Linux的子系统，利用轻量级虚拟化技术，支持多个Linux分发版，并与Docker兼容。

一个AI驱动的任务管理系统，使用OpenAI和Pinecone API创建、优先处理和执行任务。该系统能够根据先前的任务结果和预定目标生成新的任务，并利用自然语言处理技术自动化任务的执行流程。同时，它通过Pinecone在上下文中存储和检索任务的结果，以便优化任务管理和执行效率。

llm-numbers是一个每个LLM开发人员都应该了解的工具，提供关键的统计数据和指标，帮助开发者深入理解模型性能。它支持多种语言模型的评估，并易于集成到现有的机器学习工作流中。此外，llm-numbers还提供可视化工具，以便展示模型数据，让开发者更直观地分析结果。

open-llms项目整理了可商用的大语言模型列表，并详细列出了各模型的许可协议，旨在为用户提供最新、全面的信息，方便用户在选择和使用这些模型时进行比较和决策。

LocalSend 是一个跨平台的文件传输工具，用户可以在不依赖互联网的情况下，通过自身的 Wifi 热点，在局域网内快速发送文件。它特别适合分享大文件给朋友，而不消耗数据流量，保证了用户的隐私和数据安全。

一个全球AI和机器学习创业公司的精选列表，按城市和领域分类整理。涵盖计算机视觉、自然语言处理、机器人、医疗、自动驾驶等多个AI应用领域，包含公司基本信息、LinkedIn链接、融资状态等详细数据

一个用于生成自然语言文本的C++库，基于LLaMA和Stanford Alpaca，但资源开销很小，可以在本地消费级GPU上运行。

Fjall是一个用安全的Rust语言编写的基于LSM（Log-Structured Merge-tree）的嵌入式键值存储引擎，提供类似BTreeMap的线程安全API，支持范围和前缀搜索，并具有自动后台维护功能。