迁移学习(NRC)《Exploiting the Intrinsic Neighborhood Structure for Source-free Domain Adaptation》

• 事实1：即使目标数据可能已经在特征空间中移动（协方差移动），但同一类的目标数据仍有望在嵌入空间中形成一个集群；Fig.1(a
• 想法1：评估高维空间中点结构的一种行之有效的方法是考虑点的最近邻，这些点预计属于同一类；
• 事实2：Fig.1(b 蓝色曲线表明，大约 75% 的最近邻居具有正确的标签；互惠邻居确实比非互惠最近邻居 (nRNN 有更多机会预测真实标签；
• 想法2：使用 k 互近邻缓解最近邻部分预测错误的问题；

3 方法

使用源域数据训练好的源模型来生成目标域的簇结构，使用邻域信息来体现这种内在结构，并通过以下目标实现自适应：

其中：

• $\text{Neigh}  \left(x_{i}\right$ 为 $x_{i}$ 的最近邻集合；
• $D_{\text {sim }}$ 计算 $x_{i}$ 和其近邻之间的类分布相似性；
• $D_{d i s}$ 计算 $x_{i}$ 和其近邻之间的特征分布之间的距离；

为实现 基于 batch  的最近邻训练，本文构建了两个 $\text{memory banks}$：$\mathcal{F}$ 存储所有目标特征，$\mathcal{S}$ 存储相应的预测分数：

$\text{Note}$：简单地更新 $\text{memory bank}$  中对应于当前 $\text{mini-batch}$  的旧项；

$\mathcal{L}_{\mathcal{N}}=-\frac{1}{n_{t}} \sum\limits _{i} \sum\limits_{k \in \mathcal{N}_{K}^{i}} A_{i k} \mathcal{S}_{k}^{\top} p_{i}$

同样可以扩展到其高阶邻居：

作者没有直接使用 $\text{minimize entropy}$，而是用了一种称为 $\text{self-regularization}$ 的方法，简单来说就是最大化每个样本输出 $\text{score}$ 自己与自己的点积。不难看出当 $\text{score}$ 为 $\text{one-hot}$ 向量时点积最大，所以效果上可能和 $\text{minimize entropy}$ 差不多。

为了避免模型将所有数据预测为某些特定类（并且不预测任何目标数据的其他类）的退化解决方案 [8, 39]，鼓励预测是平衡的。 本文采用广泛用于聚类 [8、9、13] 以及多个领域适应工作 [21、39、42] 的预测多样性损失：

训练目标

4 实验

消融实验

A：删除亲和力 $A$ 意味着平等对待所有这些邻居；