Native Sparse Attention (NSA)官网 – 加速注意力计算的稀疏技术

LangSmith是一个旨在帮助开发者缩小原型与生产之间差距的平台，专为构建和迭代能够利用大型语言模型(LLMs)的产品而设计，既能发挥其强大能力，又能应对其复杂性。

ChatGPT Prompt Splitter 是一个实用工具，旨在帮助用户将过长的提示或文本分割成更小的部分，从而避免字符限制带来的困扰，方便进行信息提取和总结。无论是视频转录还是长文本摘要，这个工具都能高效地将信息浓缩为可管理的块，提升用户的工作效率。

XuanYuan-70B 是基于Llama2-70B模型进行中文增强的一系列金融大模型，包含大量中英文语料增量预训练之后的底座模型以及使用高质量指令数据进行对齐的chat模型。

Caldera是一种后训练压缩方法，通过低秩、低精度分解技术来表示大型语言模型的权重矩阵。该方法在少于2.5比特/参数的极致压缩下，性能超越现有技术，并支持低秩适应性微调，针对特定任务进一步优化。Caldera提供灵活的精度设置，可针对不同组件调整量化精度，以平衡性能和压缩率。

Orion-14B 系列模型是一个具有140亿参数的多语种大模型，基于包含2.5万亿token的多样化数据集进行训练，涵盖中文、英语、日语、韩语等多种语言。该系列包括多种衍生模型，如对话模型、长文本模型、量化模型、RAG微调模型、Agent微调模型等，适用于多种自然语言处理任务。

微软推出的高效小语言模型架构，专为10亿参数以下的模型设计，助力小模型在性能和效率上赶超大模型。通过优化基础架构和知识蒸馏技术，显著提升模型性能，降低推理延迟和内存计算成本，适用于边缘设备等资源受限场景。

SynaLinks是一个基于图的可编程神经符号语言模型框架，专为生产环境设计，采用久经考验的深度学习最佳实践打造。它支持多种语言模型，如Ollama、OpenAI等，并提供内置评估指标和奖励机制，助力快速开发和优化模型性能。此外，SynaLinks支持无缝部署REST API，便于企业级应用的集成和扩展。

中文Mixtral混合专家大模型，基于Mistral.ai发布的Mixtral模型，经过中文增量训练和指令精调，支持长文本处理与多种应用框架。

该项目探讨了五种语言大模型在四种语言的五个任务上的表现差异，通过特定方法优化性能，虽然相较于传统方法仍有不足，尤其在处理敏感问题时需注意偏差。尽管LLM在某些方面表现出优势，仍无法完全取代人类标注。文章还讨论了聚合模型标注与人类标注在速度、准确性、成本和偏见方面的权衡。

Weaviate Recipes是一个为使用Weaviate而设计的食谱和示例集合，重点关注不同类型的向量嵌入，以支持AI应用。

提出 RetNet 作为 LLM 的基础架构，同时实现训练并行性、低成本推理和良好性能。

该项目旨在通过结合多种自然语言处理模型，探索优化模型性能的新方法。它具有强大的可扩展性，适用于多种应用场景，并提供了用户友好的接口。

能力密度是研究团队提出的评估不同规模 LLM 的训练质量的新指标，定义为模型的有效参数量与实际参数量的比值。该指标提供了统一的度量框架，通过引入参考模型的概念，建立参数量与性能之间的映射关系，显著降低同等性能的推理成本，并指示模型存在高性价比的有效使用期。

一个提供使用Argilla工具构建AI的简单示例的项目，主要功能包括数据标注、模型性能优化等，特色在于通过Jupyter Notebook形式提供直观的操作指导

长颈鹿版LongLLaMA是一个专门针对上下文长度达到100K的情况下，保持模型性能的研究项目。它提出了一种新的训练目标，以有效处理长文本中的相关与无关的key-value空间结构，从而解决模型的分心问题，确保在处理超长文本时的高效性和准确性。