AI开源项目

CRATE-高效稀疏率降低的可解释Transformer

CRATE是一个完全数学可解释的白盒Transformer模型,旨在通过统一多种模型架构实现高效的稀疏率降低,已在真实世界数据集ImageNet-1K上取得接近的性能。它整合了Transformer模型、...

CRATE是一个完全数学可解释的白盒Transformer模型,旨在通过统一多种模型架构实现高效的稀疏率降低,已在真实世界数据集ImageNet-1K上取得接近的性能。它整合了Transformer模型、自注意力、扩散模型和降噪技术,并通过展开迭代优化导出深层网络层。
CRATE的特点:
1. 完全可解释的数学模型
2. 在真实世界数据集ImageNet-1K上取得接近的性能
3. 统一Transformer模型、自注意力、扩散模型和降噪
4. 通过展开迭代优化导出深层网络层

CRATE的功能:
1. 在图像分类任务中应用模型
2. 进行稀疏率降低优化
3. 研究Transformer模型的可解释性

相关推荐

暂无评论

暂无评论...