原创 羣的直積
外直積與內直積(External Direct Product & Internal Direct Product)\(\newcommand{\ord}{\text{ord}}\) 假設我們有兩個羣，它們可以是毫不相關的，記爲\(H,K\
2024-04-22 13:13:21
原创 高斯信道
正態分佈 正態分佈的微分熵 \(\newcommand{\d}{\text{ d}}\)\(\newcommand{\E}{\mathbb{E}}\)當\(X\)滿足正態分佈\(N(\mu,\sigma^2)\)時，\(f(x)=\dfra
2024-04-20 13:13:44
原创 微分熵
微分熵\(\newcommand{\d}{\text{ d}}\) 對於連續的隨機變量\(X\)，假如它有概率密度函數\(f(x)\)，那麼我們仿照離散熵的表達式，定義\(X\)的微分熵爲\(h(X)=-\displaystyle\int_
2024-04-17 13:13:12
原创 羣與子羣
羣(Group)的定義 代數是用字母表示數，是對數的運算與關係研究的一種抽象（抽象即一般化的討論）。在這種抽象下，\(2+3\)、\(12+35\)這類表達式都可以用一個抽象的代數表達式\(x+y\)來描述。這是對運算對象的抽象，可以研究數
2024-04-14 13:14:11
原创 羣的同態與同構
同態(Homomorphism) 現在我們能夠更深刻地理解“羣”到底描述了什麼。羣描述且僅描述一個給定集合以及定義在該集合上的唯一的一個二元運算。任意給定羣裏的兩個元素，我們總能通過“運算”這一方式確定是羣裏的哪個元素與這兩個元素對應。如果
2024-04-14 13:14:11
原创 羣在集合上的作用
在上一部分中，我們由羣\(G\)中某個元素\(g\)的左乘引發的單射討論了陪集、同態等內容。現在，我們把這種左乘推廣到任意的一個集合\(X\)上。給定一個羣\((G,\cdot)\)和一個非空集合\(X\)，如果我們能夠定義一個\(G\)中
2024-04-14 13:14:11
原创 陪集與正規子羣
陪集(Coset) 在Cayley定理的證明中，以及在證明對稱羣中奇置換與偶置換數量相等時，我們都用到了羣的這樣一個性質：如果以羣\(G\)中的任意一個特定元素\(g\in G\)來產生一個映射\(G\to G:f(x)=g\circ x\
2024-04-14 13:14:11
原创 有限羣的結構
有限交換羣 對於交換羣而言，所有子羣都是正規子羣。因此，所有的商集都會形成商羣。由此我們能得到關於（有限）交換羣的一系列重要性質。 設\(G\)是有限交換羣，\(|G|=n\)。假如存在素數\(p\)使得\(n=pm\)，則\(G\)中存在
2024-04-14 13:14:11
原创 循環羣與置換羣
循環羣(Cyclic Group) 生成子羣 對於任意羣\(G\)的非空子集\(A\)，定義\(\lang A\rang =\bigcap\limits_{i \in I}H_i\)，其中\(H_i\)是所有包含\(A\)的\(G\)的子
2024-04-14 13:14:11
原创 羣(III)
羣在集合上的作用(The Group Action On a Set) 在上一部分中，我們由羣\(G\)中某個元素\(g\)的左乘引發的單射討論了陪集、同態等內容。現在，我們把這種左乘推廣到任意的一個集合\(X\)上。給定一個羣\((G,\
2024-04-12 13:13:26
原创 羣(II)
陪集(Coset) 在Cayley定理的證明中，以及在證明對稱羣中奇置換與偶置換數量相等時，我們都用到了羣的這樣一個性質：如果以羣\(G\)中的任意一個特定元素\(g\in G\)來產生一個映射\(G\to G:f(x)=g\circ x\
2024-03-19 13:13:14
原创 數據的壓縮編碼
\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\X}{\mathcal{X}}\)現在我們要開始討論熵的意義，爲此我們依然要回到數據的壓縮編碼這一核心概念上。 首先我們要嚴格地定義編碼。在這裏，我
2024-03-19 13:13:13
原创 隨機過程的熵率
隨機過程(Stochastic Process)\(\newcommand{\E}{\mathbb{E}}\) 在漸進均分性中，我們討論的是一列獨立同分布的隨機變量。現在我們要討論一列並不獨立同分布的隨機變量，這樣的一列隨機變量通常被稱爲一
2024-03-16 13:13:16
原创 漸進均分性(AEP)
漸進均分性(Asymptotic Equipartition Property) \(\newcommand{\E}{\mathbb{E}}\)在概率論中，我們有大數定理（弱）：對於一列獨立同分布的隨機變量\(X_1,X_2,\cdots\
2024-03-13 13:16:42
1
原创 Fourier變換
Fourier變換及其逆變換 在我們已經討論過的Fourier級數中，我們能夠取三角函數的一個週期\([-\pi,\pi]\)對任何週期爲\(2\pi\)的函數做Fourier展開。現在假設函數的週期不是\(2\pi\)而是一般地具有有限週
2024-01-31 13:14:05