中科闻歌研发的新一代开源大语言模型,采用了超过 2 万亿 Tokens 的高质量、多语言语料进行预训练。
在ESP32微控制器上运行大型语言模型(LLM),探索其在资源受限环境下的可能性,特色包括使用tinyllamas模型和对llama.2c的优化以提高性能。
AndesGPT-7B是OPPO研究院基于Baichuan2项目继续训练得到的70亿参数规模中文语言模型,采用800B中文语料进行微调,能够有效处理多种中文自然语言处理任务。
一个专注于图语言模型的研究项目,旨在利用图结构来提升语言表示的效果,并整合多种基于图的技术于自然语言处理(NLP)领域。
Frame Semantic Transformer是一个基于T5模型的框架语义解析器,利用FrameNet进行深度语义分析,支持多种自然语言处理任务,具备灵活的模型训练和微调能力,能够高效地进行推理。
HowdoI.ai 是一个基于LangChain Python库构建的智能聊天机器人,能够回答用户提出的各种问题,易于集成到现有系统中,并提供自然语言处理支持。
由中电信人工智能科技有限公司研发训练的大语言模型,采用1.5万亿 Tokens中英文高质量语料进行训练,支持多种自然语言处理任务,适用于聊天机器人和智能客服,并提供API接口方便集成。
MiniMax发布的语言模型,4560亿参数,其中每个token激活459亿参数。采用混合架构,结合Lightning Attention、Softmax Attention和专家混合(MoE),能在推理时处理长达400万token的上下文,在多个学术基准测试中表现出色。
FuseLLM 是一个旨在通过融合多种大型语言模型的知识,以提高推理能力的项目。该项目能够结合不同模型的优点,扩展知识的边界,适用于多种自然语言处理任务,提供更强大的模型性能。
包含了从计算机视觉、自然语言处理到生物计算、气象预测等各个领域的模型,这些模型结合了幻方萤火超算集群的特点,使用并行训练、高效算子、高性能存储等方式,大幅提升原有模型的性能,节省训练时间。
TinyLlama是一个开源项目,旨在通过在3万亿个标记上预训练一个1.1B参数的Llama模型,为多种应用提供高效的语言模型。
这是一个双层递归卷积网络模型的参考实现,旨在提供灵活的应用支持和优化的性能。
MorphTE项目旨在通过在张量嵌入中注入形态学知识,增强自然语言处理任务的效果。它与Fairseq框架集成,提供了对嵌入的形态学意识,帮助提升变换模型的性能。
Grunty是一个基于Claude的电脑控制AI助手,能够通过自然语言指令直接操控电脑执行各种任务,包括浏览网页和编写代码等。它支持跨平台使用,能够进行各种鼠标和键盘操作。
MiniRBT (中文小型预训练模型) 是由iFLYTEK开发的一个小型中文预训练模型,旨在提供高效的自然语言处理能力。
该项目是关于《大型语言模型事实性调查:知识、检索与领域特异性的调查论文》的存储库,提供关于大型语言模型事实性的全面文献回顾,深入探讨知识检索机制,并分析领域特定的事实性挑战,同时比较增强事实性的不同方法,为人工智能和自然语言处理领域的研究人员提供资源。
这是一本关于在自然语言处理任务中使用大型语言模型(LLMs)的全面指南,提供有关模型、数据和下游任务的深入见解。
XGrammar是一个开源的结构化生成库,支持通用的上下文无关文法进行广泛的结构化生成,提供经过系统优化的快速执行能力。
Semantic Cache是一个基于语义相似性的模糊键值存储,适用于需要根据语义查询或检索信息的场景,例如自然语言分类或缓存AI响应。
VisualGLM-6B 是一个开源的,支持图像、中文和英文的多模态对话语言模型,基于 ChatGLM-6B,具有 62 亿参数,整体模型共78亿参数。该模型可以在消费级显卡上本地部署,适用于多种视觉任务,具备生成诗歌、评论图像的能力,并且支持低显存需求的量化技术。
该项目提供了现代深度学习技术在自然语言处理中的应用,包括多种模型和算法,结合实用代码示例,适用于多种NLP任务,文档易于理解,同时持续更新最新研究成果。
transformers-ruby是为Ruby语言提供最新的Transformers技术的库,支持多种模型架构,适用于各种自然语言处理任务,并提供丰富的功能,能够与Ruby语言无缝集成。
一个基于Daizhige文本训练的语言模型,专注于汉字书写和语法的生成与分析,能够处理多种汉字书写形式并具备上下文理解能力。
该项目提供了一个关于对比学习在自然语言处理领域最新研究论文的全面列表,包括论文链接和引用信息,涵盖多种NLP任务的对比学习方法,并定期更新以反映最新的研究进展。
关于使用RAG模式(Retrieval-Augmented Generation)的应用和资源的信息,包括关于RAG技术的综述,以及一些GitHub库和企业级应用的链接,这些应用使用RAG模型来增强自然语言处理和信息检索能力
SOS4NLP是针对自然语言处理领域的综述调查,提供全面的NLP资源汇总,包括多种任务和方法的研究综述、丰富的参考文献和链接,旨在帮助研究人员快速找到相关资料。
这是一个基于 ESP32 的 AI 聊天机器人项目,旨在提供智能对话和互动体验。该项目利用 ESP32 硬件平台,支持语音识别和合成,能够与用户进行自然语言对话,具备多种对话场景和功能,并且代码开源,易于修改和扩展。
基于Andrej Karpathy的GPT-2实现和训练,添加大量注释以帮助理解模型原理,计划逐步增加更多功能。
Residual Prompt Tuning是一种通过残差重参数化方法来改善提示调优性能的技术,旨在提高自然语言处理任务中的效果,优化预训练语言模型的表现。
LLaVA-LLaMA-3是基于Llama-3-8b大型语言模型(LLM)的LLaVA-v1.5复现项目,旨在提供预训练模型及相关的训练和演示脚本,方便研究人员和开发者进行自然语言处理任务的探索与应用。