Anole是一个开源的自回归原生多模态模型,专注于交错图像和文本的生成。它支持文本到图像生成、交错文本-图像生成、文本生成及多模态理解,旨在提供丰富的生成能力和理解能力。
Janus是一个多模态理解和生成一体的模型,能够同时理解图片内容并生成新图像。它通过解耦设计来满足理解和生成任务对视觉编码器的不同需求,采用统一的自回归变换器架构处理各种模态的输入。
Human or AI? 是一款社交游戏,旨在挑战玩家通过图像判断其是真实照片还是AI生成的。通过参与游戏,玩家可以测试自己的AI检测能力,同时该项目也适用于学术和研究目的。
SegViT是一个基于纯视觉变换器的语义分割项目,旨在提高图像分割任务的效率和性能。它能够处理多种图像分割任务,适应不同的应用场景,为研究人员和开发者提供了强大的工具。
Chinese LLaVA是一个支持中英文双语的开源多模态模型,能够进行视觉与文本的结合对话,具备高效的理解能力和灵活的应用场景,适合商用开发。
阿里巴巴云推出的专为聊天应用设计的强大的视觉语言模型,结合了图像和文本输入,能够生成准确的文本和边界框输出,增强了图像描述、问答、定位和文本-图像理解等任务的能力。
MiniGPT-4是一个开源的GPT-4版本,具备强大的视觉与文本理解能力,能够处理多种输入格式,适用于图像和文本的结合应用。该项目由社区驱动,旨在提升人工智能在多模态信息处理领域的效率和效果。
这个项目收集了很多使用OpenAI Vision API来对图像、视频文件和网络摄像头流进行推理的示例。项目结合了多种技术,实现了高效的图像处理和准确标注,适合开发者和研究人员进行实验和学习。
traiNNer是一个基于PyTorch的深度学习框架,旨在实现图像和视频的超分辨率、恢复以及图像到图像的翻译。它提供了灵活的模型结构,支持多种功能,适用于不同的图像处理需求。
Undress AI v2 是一款基于人工智能的应用,用户只需上传一张照片,即可自动处理结果,展示未穿衣物的效果。该项目结合了先进的计算机视觉技术,旨在为用户提供隐私保护的同时,探索图像处理的可能性。
这个开源项目是关于Visual ChatGPT研究的,它融合了图像交互功能。通过上传一张图片,用户可以让它帮忙处理成新的图片,并根据用户的提示进行逐步修改。
LISA是一个将语言大模型(LLM)与其他视觉模型(如SAM)结合的分割助手,旨在根据复杂和隐含的查询文本输出分割掩码。
VGGSfM是基于运动的视觉几何深层结构,旨在从输入图像中提取2D轨迹,通过图像和轨迹特征重建摄像机,初始化点云并应用捆绑调整层进行重建细化。
MetaGPT是一个多AI Agent框架,旨在提供高效的智能体交互和协作,支持多种应用场景。它支持多种智能体的协同工作,开放源代码,便于社区参与和贡献,提供丰富的API接口,支持多种编程语言的调用,同时具备良好的性能优化和可扩展性。
多模态持续学习资源库:汇集多模态持续学习方法的资源库,提供最新的研究进展和相关论文,助力人工智能领域的学习与发展
2025 年 IEEE GRSS 数据融合大赛 Track 1:全天候地表覆盖映射挑战的基线模型,旨在利用多模态高分辨率 SAR 和光学遥感数据进行地表覆盖分类,并提供了 OpenEarthMap-SAR 数据集和基于 UNet 架构的基线实现。