How to apply Ladder Networks in semi-supervised learning for academic papers?

本文共计864个文字，预计阅读时间需要4分钟。

论文：基于阶梯网络的半监督学习会议名称：NIPS 2015任务：半监督分类1摘要：本文将监督学习与深度神经网络相结合，应用于无监督学习中的半监督分类问题。

论文地址:Semi-SupervisedLearningwithLadderNetworks会议:NIPS2015任务:半监督分类1.摘要我们将监督学习与深度神经网络中的无监督

论文地址: Semi-Supervised Learning with Ladder Networks 会议: NIPS 2015 任务: 半监督分类

1. 摘要

我们将监督学习与深度神经网络中的无监督学习相结合。所提出的模型经过训练可以通过反向传播同时最小化监督和非监督成本函数的总和从而避免了分层预训练的需要。我们的工作建立在 Valpola 提出的梯形网络之上我们通过将模型与监督相结合来扩展该梯形网络。

2. 算法描述

本文主要是在前任的深度半监督模型上添加了一些适配以完成半监督任务。阅读这篇论文需要一些前置知识貌似是有两个版本一个是会议的NIPS,内容精炼不太容易读懂还有一个版本是arxiv的较为详细。

结合这两张图大致的计算流程算是比较清晰了。

这里主要是讨论一下算法中对于损失的计算。

输入数据 有标签数据 {x(n),t(n)∣1≤n≤N}\{\mathbf{x}(n), t(n) \mid 1 \leq n \leq N\} {x(n),t(n)∣1≤n≤N} 其中对于任意样本x(i)\mathbf{x}(i)x(i)的标签为t(i)t(i)t(i)1≤i≤N1 \leq i \leq N1≤i≤N。