“Deep models under the GAN: information leakage from collaborative deep learning”阅读笔记

一、摘要

---

指出深度学习在机器学习场景下的优势，以及深度学习快速崛起的原因。随后点出研究者对于深度学习隐私问题的考虑。作者提出了一种强力的攻击方法，在其攻击下任何分布式、联邦式、或者中心化的深度学习方法都是脆弱的。这种攻击方法利用了学习过程中攻击者可以训练一个GAN的特性，从而能够模拟原始训练集的分布。

二、问题抽象

---

在众包/联邦机器学习场景下，任何一个参与多方训练的攻击者都能够获取多方训练集的隐私信息（推理攻击）。

三、使用工具

---

GAN

四、文章贡献

---

1. 提出了一种新的利用GAN对分布式深度学习的攻击；首次将GAN运用到恶意场景；
2. 相比于其他的信息提取方法，本文采用的方法更加通用，对卷积神经网络也有效；
3. 提出了众包学习中欺骗的概念，让受害者泄露更多的精确隐私信息；
4. 即使参数使用了差分隐私技术进行保护，攻击仍然有效。
   指出google提出的联邦学习算法中仅将中心服务器考虑为敌手的情况是不安全的，任何一方参与训练的人都可能是敌手。

五、基本思路

---

1. 敌手模型

攻击者假扮为众包深度学习协议中的一个诚实参与方，执行协议的每一个上传下载步骤；
攻击者的目标是推断出有关一个标签（自己不拥有）的有意义的信息；
攻击者没有勾结中心服务器；
攻击者通过构造梯度影响其他参与方，并且可以欺骗其他参与方泄露更多信息；

2. 攻击方式

假设一个参与者（受害者）声明（声明自己拥有？）的标签为[a,b]，攻击者A声明的标签为[b,c]，也就是说b是他们共有的，而攻击者不知道关于类别a的任何信息。因此攻击者的目标就是尽可能多的推断出关于类别a中成员的信息。
攻击者就利用GAN来生成类似受害者的类别为a的样本，并给他们加上类别c的标签，然后再加入到分布式的学习过程中去。这样受害者需要投入更多的计算以区分类别a和类别c的样本，从而会泄露出比之前更多的关于类别a的信息。这样通过多轮迭代，根据GAN算法的性质，攻击者生成的c类别的分布将和类别a的分布趋于一致。从而达到攻击者的目的。
疑问：攻击者建立的GAN模型中的判别网络所需的类别为a的真实样本是如何获取的？（真实类别a样本应该只有受害者V拥有）
这个疑问可以用下面这张图帮助理解，也就是说攻击者不需要给判别器喂分类a的真实样本，因为从中心服务器PS下载下来的参数就是包含了受害者V已经喂过分类a真实样本的分类器（判别网络）的部分参数。所以可以理解成，攻击者本地的判别网络是交给拥有分类a的真实样本的受害者V来训练的。

六、结论

---

作者在本文提出的新型攻击方法比目前已知的模型反转攻击更加有效，并且目前没有好的防御方法，因此作者认为众包学习相比于传统的中心化的学习方式没有很强的替代意义。

七、未来工作

---

1. 对本文提出的攻击进行防御，并且证明众包/联邦学习相比于传统的中心式的学习有较大的替代意义。

八、我的想法

---

1. 本文是首次将GAN运用到了恶意场景，那么GAN是否有其他的恶意场景？
2. 能否对本文的攻击方式进行防御？