Meta-Classifier in Membership Inference

1. 什麼是 meta-classifier

Google 上發現了一個對 meta-classifier 的英文解釋[1] ：

Meta-Classifier Definition: A classifier, which is usually a proxy to the main classifier, used to provide additional data preprocessing.

用中文翻譯過來，meta-classifier 就是一個主分類器的代理，用於作額外的數據預處理。

沒有繼續往下介紹之前，可以先將 meta-classifier 理解爲一個簡單的分類器。

2. 如何訓練一個 meta-classifier

接下來，我將根據 一篇15年的論文[2] 來介紹在成員推理攻擊中訓練 meta-classifier 的過程。

2.1 符號定義

首先，論文中一些符號符號定義如下：

• $\mathcal{D}$ : 訓練集

• $\mathcal{C}$ : 主分類器

• $\mathcal{F_c}$ : 分類器 $\mathcal{C}$ 的特徵向量（i.e. 如果分類器是 SVM，則 $\mathcal{F_c}$ 就是支持向量）

• $\mathbb{P}$ : 表示訓練集 $\mathcal{D}$ 中的隱私屬性（property）

• $\mathbb{P} \thickapprox \mathcal{D}$ : 表示隱私屬性 $\mathbb{P}$ 保存在 $\mathcal{D}$ 中

• $\bar{\mathbb{P}}$: 表示訓練集 $\mathcal{D}$ 中的非隱私屬性

• $\mathbb{MC}$ : 表示 meta-classifier

• $l$ : 標籤 $l \in \{\mathbb{P, \bar{P}}\}$

2.2 meta-classifier 訓練過程

在論文[2]中，主分類器 $\mathcal{C}$ 是已知的。

• 攻擊者目的： 從訓練集 $\mathcal{D}$ 中推理出隱私屬性 $\mathbb{P}$

訓練過程如下：

訓練過程算法如下：

2.3 預測過程

攻擊者（adversary）利用 meta-classifier 進行隱私屬性預測的過程如圖；

3. 總結

結合 meta-classifier 訓練過程來看，其本質也是一個分類器，不過是在已知主分類器下進行訓練、分類。之後會閱讀學習 meta-classifier 在 membership inference 上的應用。

思考方向：

• 若是不知道主分類器，或不知道主分類器在訓練集上訓練的結果，如何使用 meta-classifier？
• 能否和 adversarial machine learning 進行結合解決？都是未來需要解決思考的問題。

謝謝大家的閱讀，本人水平有限，有問題歡迎大家跟我及時反映。

參考資料

[1] https://www.igi-global.com/dictionary/meta-classifier/45744

[2] Ateniese G, Felici G, Mancini L V, et al. Hacking smart machines with smarter ones: How to extract meaningful data from machine learning classifiers[J]. arXiv preprint arXiv:1306.4447, 2013.