双约束的LossFunction如何优化设计？

本文共计474个文字，预计阅读时间需要2分钟。

双约束损失函数摘要：

本文介绍了双约束损失函数在深度学习中的应用。该函数结合了多个约束条件，旨在提高模型的性能和鲁棒性。以下是对该函数的简要概述：

1. 背景：双约束损失函数用于深度学习中的特征提取和分类任务。

2.目的：通过引入双约束，平衡模型在不同特征维度上的表现，提高模型的整体性能。

3.方法：

- 引入两个约束条件，分别针对特征空间和输出空间。 - 第一个约束针对特征空间，确保特征在各个维度上的分布均匀。 - 第二个约束针对输出空间，确保模型在分类任务上的准确性。

4.效果：实验结果表明，双约束损失函数能够有效提高模型的性能，尤其是在特征分布不均匀或数据存在噪声的情况下。

原文链接：

- https://zhuanlan.zhihu.com/p/34404607- https://zhuanlan.zhihu.com/p/34404607SunY%2CChenY%2CWangX%2Cetal.Deeplear+%E5%8F%8C%E7%BA%A6%E6%9D%9F%E7%9A%84Loss+Function+%E6%91%98%E5%BD%95- https://zhuanlan.zhihu.com/p/34404607Sun+Y%2C+Chen+Y%2C+Wang+X%2C+et+al.+Deep+learning+face+representation+by+joint+iden

双约束的LossFunction摘录zhuanlan.zhihu.com/p/34404607

Sun Y, Chen Y, Wang X, et al. Deep learning face representation by joint identification-verification [C]// NIPS, 2014. Sun Y, Wang X, Tang X. Deeply learned face representations are sparse, selective, and robust [C]// CVPR, 2015. Sun Y, Liang D, Wang X, et al. Deepid3: Face recognition with very deep neural networks [J]. arXiv, 2015. DeepID2, DeepID2, DeepID3都在采用Softmax Contrastive LossContrast Loss是 同类特征的L2距离尽可能小不同类特征的L2距离大于margin(间隔) mContrastive Loss同时约束类内紧凑和类间分离。25个patch训练25个CNN特征联合后PAC降维训练Joint Bayesian分类在LFW上Softmax Contrast Loss的DeepID2达到99.15%多层加监督信息的DeepID2达到99.47采用更大的deep CNN的DeepID3达到99.53%。DeepID系列是早期的深度学习人脸识别方法但代码都没有开源而且深度特征是多patch联合还要训练分类器繁琐不实用。

---

注博众家之所长集群英之荟萃。