SpeechT5是一个统一的多模态编码器-解码器预训练模型,专门用于口语处理任务,旨在通过有效的预训练提升语音识别和自然语言处理的性能。
UnIVAL是一个统一模型,旨在处理图像、视频、音频和文本等多模态任务。它通过任务平衡和多模态课程学习进行有效预训练,展现出在图像和视频文本任务中的优越性能。该模型还支持通过多模态任务训练的权重插值,展示了不同任务之间的协同作用,从而提升整体性能。
来自艾伦人工智能研究所(Allen Institute for AI)的新模型Unified-IO 2,能够处理图像和语言的多模态模型之一。
大型视觉语言模型的海量多模态交叉理解基准测试,旨在评估模型在不同领域中的理解与生成能力,支持自动化的可靠度量。
PaLI-3是一个相对更小、更快且更强大的视觉语言模型,其性能表现优于大小为其10倍的类似模型,专注于多模态任务的高效处理。
Qwen-VL是一个支持多种模态输入的高性能项目,旨在提供图像理解和生成能力,并具备灵活的API接口,适合多种应用场景。
FlexGen: 针对面向吞吐量的场景在单个 GPU 上运行大型语言模型,旨在提高模型的运行效率和简化部署过程。
Moshi是一个实时对话的语音文本基础模型,使用先进的流式神经音频编解码器Mimi,支持双向语音流处理,具有低延迟和高效率的特点。
FAQx是一个基于AI算法的性能营销SaaS平台,通过分析广告创意和活动数据,提供即时洞察和优化建议,帮助各行业的企业提升数字广告表现。该平台由市场营销专家构建,连接创意、分析和媒体购买,助力企业做出数据驱动的决策。
WhisperSpeech 是一个强大且易于定制的文本转语音工具,基于 Whisper 的语音转文本技术,能够提供高质量的语音合成,并支持多种语言和口音。该项目是开源的,允许用户自由使用和修改,同时也适用于商业项目。
RecCloud是一个提供免费多媒体解决方案的AI视频创作平台,包括AI视频聊天、AI字幕、语音转文本、在线屏幕录制、视频编辑、存储和分享,旨在提高视频创作的效率和便利性。