RE2通过在提示中重复输入问题两次来提高LLM的推理能力,增强对问题的理解,并促进单向解码器 LLM 的双向编码。该方法兼容现有的思想激发提示技术,适用于多种LLM和推理任务,能够有效提高模型的表现。
AgentBench是一个多维演进基准,评估语言模型作为Agent的能力,包含8个不同环境,专注于LLM在多轮开放式生成场景中的推理和决策能力。
Data Gemma是一个开源模型库,旨在通过谷歌数据共享平台的海量真实世界统计数据,帮助解决语言模型的幻觉问题,实现语言模型的现实世界数据锚定。
BertViz是一个用于可视化各种自然语言处理模型(如BERT、GPT2、BART等)中注意力机制的工具,提供交互式界面,用户可以探索和分析模型的注意力分布,支持自定义输入文本以查看对应的注意力模式。
一个用于非因果建模的双向线性注意力实现项目,通过Triton优化模型性能,特别适合需要高效处理大量数据的AI应用
为了提高LLM的演绎推理能力并确保推理过程的可信度,我们提出了一种基于自然语言的循序渐进的推理验证过程,并使用自然程序格式。
YaRN是一个高效的上下文窗口扩展工具,旨在提高大型语言模型的上下文处理能力。
Hugging Face 实现并开源的推理阶段计算扩展研究,通过动态计算策略提升小型语言模型的性能。
04-x是一个以隐私为首的聊天平台,支持多种语言模型,包括GPT-4、ChatGPT、DALL·E 3、Claude 2、Claude Instant、Cohere Chat、Llama 2,以及通过Ollama提供的其他开源模型。
该项目能够自回归地完成复杂的标记序列,包括从随机过程中生成的任意序列到更丰富的空间模式。使用语言大模型驱动的策略可能会为词汇模式转化为动作提供新思路,但目前由于延迟、上下文限制和计算成本等问题,还难以在真实系统中部署。这些可以促进领域的发展,为更广泛的任务和应用提供基础和启示。