CRATE是一个完全数学可解释的白盒Transformer模型,旨在通过统一多种模型架构实现高效的稀疏率降低,已在真实世界数据集ImageNet-1K上取得接近的性能。它整合了Transformer模型、自注意力、扩散模型和降噪技术,并通过展开迭代优化导出深层网络层。
CRATE的特点:
1. 完全可解释的数学模型
2. 在真实世界数据集ImageNet-1K上取得接近的性能
3. 统一Transformer模型、自注意力、扩散模型和降噪
4. 通过展开迭代优化导出深层网络层
CRATE的功能:
1. 在图像分类任务中应用模型
2. 进行稀疏率降低优化
3. 研究Transformer模型的可解释性
相关推荐
暂无评论...