GNN筆記1-3——圖信號處理

圖和圖移位算子

  • 圖被定義爲三元組集合: G=\{V,E,W \}

節點 VV=\{1,2,\cdots,n\} 表示 n 個不同 label 的集合;

E :有序對 (i,j)\in E 表示 j 可以影響 i

權重 Ww_{ij}\in W(i,j) 上的一個數字,表示 j 影響 i 的程度。

  • 有向圖與無向圖

在無向圖中,(i,j) 等價於 (j,i),且 w_{ij}=w_{ji} ,在有向圖中 (i,j) 是從 j 指向 i 的箭頭,權重 w_{ij} 不一定等於 w_{ji}

  • 帶權圖與無權圖

對於無權圖若邊之間存在連接,通常認爲 (i,j) 的權重是單位 “1”,即 w_{ij}=1,而帶權圖上的權重可以根據需要定義爲任意值。

  • 圖的矩陣表示

鄰接矩陣:A = [w_{ij}]_{n\times n} , for all (i,j)\in E,對於無向圖,A=A^T

節點的度:節點 i 的度是其所有鄰接點的權重之和,即 d_i=\sum_{j=1}^nw_{ij}

度矩陣:

D=diag(A1)=\left[ \begin{array}{ccc} d_1 & \ldots & \ldots&\ldots \\ \vdots & d_2 & \ldots&0 \\ \vdots & \vdots & \ddots&\vdots \\ \vdots & 0 & \ldots &d_n \end{array} \right]

  • 拉普拉斯矩陣

Laplace 矩陣定義爲:L=D-A=diag(A1)-A

歸一化的鄰接矩陣:\overline{A}:=D^{-1/2}AD^{-1/2} ,即 (\overline{A})_{ij}=\frac{w_{ij}}{\sqrt{d_id_j}}

歸一化的 Laplace 矩陣:L=D^{-1/2}(D-A)D^{-1/2}=I-\overline{A}

歸一化的原因:1. Express weights relative to the nodes’ degrees ; 2. 算法和計算上的考量。

  • 圖移位算子(Graph Shift Operators)

圖移位算子 S 可以是圖的任何一種矩陣表示,如 S=AS=LS=\overline{A}S=\overline{L} 等等。

圖上的信號

圖信號是我們在圖上進行信號處理時的對象;

考慮一個有 n 個節點的圖 G 和其上定義的圖移位算子 S ,那麼一個圖信號就是一個**向量 x=[x_1,\cdots,x_n]^T **,其中分量 x_i 是和圖節點 i 有關的量。爲了強調圖是信號固有的,可以把信號寫成對的形式 (S,x)

圖移位算子 S 與信號 x 的乘法表示信號在圖上的擴散,擴散後信號 y=Sx ,分量 y_i=\sum_j w_{ij}x_j ,權重越大,擴散輸出貢獻越大;

信號擴散序列 x^{(k+1)}=Sx^{(k)},其中 x^{(0)}=x=S^0x,\quad x^{(1)}=Sx^{(0)}=S^1x,$$x^{(k)}=Sx^{(k-1)}=S^kx
[圖片上傳失敗...(image-fd789-1618849866619)]

信號的擴散即信號在圖上的傳播,擴散一次該信息將被傳播到其單跳鄰居,k 次則傳播到 k 跳鄰居。

圖卷積濾波器

圖卷積濾波器是圖信號線性處理的工具。給定圖 G 和移位算子 S ,以及一系列係數 h_k ,則圖上的卷積濾波器是 S 的多項式序列,它由 \{h_1,\cdots,h_{\infty}\} 確定:
H(S) =\sum_{k=0}^\infty h_kS^k
濾波器作用到圖信號 x 上:
y=H(S)x=\sum_{k=0}^\infty h_kS^kx
h{*_S}x 是濾波器 h=\{h_k\}_{k=1}^\infty 與信號 x 的圖卷積。

實際中 k 不會取到無窮,圖卷積的輸出 y=h{*_S}x=h_0S^0x+h_1S^1x+\cdots + =\sum_{k=0}^{K-1}h_kS^kx ,圖卷積聚集了從局部到全局的信息,是擴散序列元素的線性組合。
[圖片上傳失敗...(image-74e34-1618849866619)]

時序卷積是圖卷積的特例

時序卷積輸出:y_n=\sum_{k=0}^{K-1}h_kx_{n-k}

時序信號可表示爲線圖上的圖信號 (S,x)
[圖片上傳失敗...(image-71f446-1618849866619)]

其中 S 是線圖的鄰接矩陣:

於是時間序列能夠表示爲作用在初始信號 x 上的 S 的多項式:
y=h{*_S}x=h_0S^0x+h_1S^1x+\cdots + =\sum_{k=0}^{K-1}h_kS^kx

卷積運算是輸入信號移位的線性組合:


如果設 S 爲任意圖移位算子,則可以恢復到圖卷積,因此圖卷積也可以說是時序卷積的推廣:

其中 S^kx 的含義是信號 x 在圖上經過 k 跳傳播後的信號。

圖傅里葉變換

圖形傅里葉變換是分析圖信息處理的工具。

這裏分析的圖是對稱圖(通常爲無向圖),即 S^H=S。設 \lambda_1\leq \lambda_2\leq\cdots \leq \lambda_nSn 個特徵值,\{v_1,v_2,\cdots,v_n\} 爲對應的 n 個單位正交特徵向量組,Sv_i=\lambda_iv_i ,令 V=[v_1,v_2,\cdots,v_n]\Lambda=diag([\lambda_1,\cdots,\lambda_n]) ,於是:
S=V\Lambda V^H,\quad V^HV=I
圖傅里葉變換 :給定圖移位算子 S=V\Lambda V^H,圖上信號 x 的傅里葉變換:
\tilde{x}=V^Hx
圖上信號 x 的傅里葉變換實際上就是 xS 特徵向量空間的投影運算,稱 \tilde{x} 爲信號 x 的頻域表示。

圖傅里葉逆變換:給定圖移位算子 S=V\Lambda V^H,頻域信號 \tilde{x} 的逆傅里葉變換:
\tilde{\tilde{x}}=V\tilde{x}
顯然 \tilde{\tilde{x}}=V\tilde{x}=V(V^Hx)=Ix=x

圖濾波器的頻率響應(定理):圖卷積濾波器 h=\{h_1,\cdots,h_{\infty}\},圖信號 x 的濾波表示 y=\sum_{k=0}^\infty h_kS^kx ,則原信號 x 的傅里葉變換 \tilde{x}=V^Hx 和卷積輸出信號 y 的傅里葉變換 \tilde{y}=V^Hy 之間的關係是:
\tilde{y}=\sum_{k=0}^\infty h_k\Lambda^k\tilde{x}

證明:S=V\Lambda V^H ,則 S^k=V\Lambda^k V^H ,因此濾波輸出:
y=\sum_{k=0}^\infty h_kS^kx=\sum_{k=0}^\infty h_kV\Lambda^k V^Hx
兩邊用 V^H 作用:
\begin{aligned} \tilde{y}&=V^Hy=V^H\sum_{k=0}^\infty h_kV\Lambda^k V^Hx\\ &=\sum_{k=0}^\infty h_k\Lambda^k\tilde{x} \end{aligned}

在圖頻域,濾波器是對角矩陣 \Lambda 在係數 h_k 下的多項式,這樣一來原時域信號 x 上的卷積運算在傅里葉變換下轉換爲了頻域中的點積運算
\begin{aligned} \tilde{y}&=\sum_{k=0}^\infty h_k\Lambda^k\tilde{x}=\tilde{h}(\lambda)\tilde{x} \\ \end{aligned}

其中:

\tilde{y}_i=\sum_{k=0}^\infty h_k\lambda_i^k\tilde{x}_i=\tilde{h}(\lambda_i)\tilde{x}_i

\tilde{h}(\lambda)=\sum_{k=0}^\infty h_k\lambda^k 定義爲圖濾波器的頻域響應,可以看到頻域響應多項式的係數與圖濾波器係數相同。需要特別指出的是,頻域響應與圖是無關的(頻域響應不依賴於特定的圖),因此在圖濾波器中,圖的作用僅僅是確定實例化響應的特徵值,當給定一個圖,響應在 \tilde{h}(\lambda) 上被實例化,而 \tilde{h}(\lambda) 只是個單變量解析函數,它由濾波係數決定。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章