所有AI工具AI学习网站

Variance-Covariance Regularization-提升模型泛化能力与特征学习

模型在预训练阶段往往会专注于降低预训练损失函数的特征,导致特征学习和泛化能力不足。本文提出,提升模型习得表征的方差并降低其协方差,从而提升模型和上面的转移学习表现。

标签:

模型在预训练阶段往往会专注于降低预训练损失函数的特征,导致特征学习和泛化能力不足。本文提出,提升模型习得表征的方差并降低其协方差,从而提升模型和上面的转移学习表现。
Variance-Covariance Regularization的特点:
1. 增加模型的多样性
2. 提升表征学习的方差
3. 降低表征学习的协方差
4. 改善转移学习表现

Variance-Covariance Regularization的功能:
1. 在预训练阶段应用方差-协方差正则化
2. 用于提高模型的泛化能力
3. 增强特征学习的效果

相关导航

暂无评论

暂无评论...