Custom.MT是一个为本地化团队、语言服务提供商、产品经理和翻译人员设计的生成式AI和机器翻译平台。它提供了包括模型微调、机器翻译评估、内部机器翻译、语言数据匿名化、术语合规、翻译记忆清理、数据获取和开源机器翻译研讨会等多种服务。此外,Custom.MT还为流行工具如Trados、Smartling和memoQ提供AI翻译平台,以及API文档、博客、案例研究、事件和网络研讨会等资源。
Transformers和相关的深度网络架构在此进行了总结和实现,涵盖了自然语言处理和计算机视觉等多个领域。
SentenceX是一个支持多种语言的句子分割库,针对速度和实用性进行了优化,适用于文本到语音和机器翻译等多种应用场景。
中文Mixtral-8x7B,基于Mistral发布的模型Mixtral-8x7B进行了中文扩词表增量预训练,旨在提升中文文本生成和理解能力,支持多种自然语言处理任务。
我们维护的NLP开源工具包,致力于自然语言处理的研究与应用,提供多种功能以支持学术研究和实际应用。
出门问问提供的超大规模语言模型,基于其通用的表示与推理能力,支持多轮交互,能够大幅度提高生产效率和数据处理能力,被广泛应用于问答系统、自然语言处理、机器翻译、文本摘要等领域
fairseq是一个用于序列建模的开源工具包,支持多种自然语言处理和语音处理任务。
中科闻歌研发的新一代开源大语言模型,采用了超过 2 万亿 Tokens 的高质量、多语言语料进行预训练。
tf-transformers是基于Tensorflow 2.0实现的最先进的自然语言处理架构,旨在提供更快的自动递归译码,支持多种前沿的NLP模型,如BERT、RoBERTA、T5、Albert和mt5等。其设计简化了API,便于用户使用和扩展,适合各种NLP任务。
Frame Semantic Transformer是一个基于T5模型的框架语义解析器,利用FrameNet进行深度语义分析,支持多种自然语言处理任务,具备灵活的模型训练和微调能力,能够高效地进行推理。
TigerBot 是一个基于 BLOOM 的多语言多任务大规模语言模型(LLM),在模型架构和算法上进行了多项优化,旨在提供高效的自然语言处理能力,支持多种语言和任务,具有强大的可扩展性。
由百川智能开发的一个开源可商用的大规模预训练语言模型,支持中英双语,基于Transformer结构,训练于约1.2万亿tokens,具有70亿参数,提供4096的上下文窗口长度,在标准的中文和英文权威benchmark(C-EVAL/MMLU)上均取得同尺寸最好的效果。
该论文介绍了一种新颖且简单的方法,仅使用合成数据和不到1,000个训练步骤即可获得高质量文本嵌入。它利用专有的LLM生成了多样的合成数据,用于处理几乎100种语言中的数十万个文本嵌入任务。
基于MindSpore的易于使用和高性能的自然语言处理(NLP)和语言模型(LLM)框架,与Huggingface的模型和数据集兼容,支持多种NLP任务。
该项目集成了基于 transformers 库实现的多种自然语言处理任务,支持用户使用各种预训练模型,进行文本分类、生成、命名实体识别、机器翻译等操作,并且允许用户自定义数据集,易于使用和扩展。
OpenICL是一个开源的框架,旨在支持上下文学习,提供多种算法和灵活的接口,便于集成到现有的自然语言处理模型中。
机器翻译是一个利用AI分析、比较和推荐最佳机器翻译的产品,支持多种语言对,旨在提高翻译效率和准确性。
H2O.ai的开源大语言模型GPT项目,旨在创建世界上最好的开源GPT模型,提供强大的自然语言处理能力,支持多种任务,适用于大规模应用。