我们使用传统的线性模型（如逻辑回归）进行广告CTR（广告点击率）、CVR（转化率）预测时，往往遇到下面的问题:
数据集特征极度稀疏。许多特征如用户的地区、职业等都是类别型特征，其特征取值非常多，但每个取值的出现次数很少，这样我们对这些类别型特征进行one_hot编码后就会产生大量的零值特征，这样的特征对于传统的线性模型的预测会产生负面效果，导致模型的预测效果较差；
同样地，由于类别型特征的取值非常之多，转换成one_hot编码后会导致特征空间大大扩张，这增加了训练时的计算量，也使得模型的训练变得困难；
传统的线性模型没有考虑特征之间的相互关系，比如“化妆品”类商品与“女”性，“球类运动配件”的商品与“男”性，“电影票”的商品与“电影”品类偏好，这些特征之间往往是有联系的。但传统线性模型如逻辑回归模型只能通过手动构造组合特征来考虑特征与特征之间的相互关系，而非线性SVM虽然可以对特征进行核变换学习它的交叉特征，但是在特征高度稀疏的情况下，并不能很好的进行学习。
为什么线性SVM在和多项式SVM在稀疏条件下效果会比较差呢？
为了解决以上三个问题，产生了FM与FFM系列算法。
论文:Factorization Machineshttps://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf 。举例:
x1年龄 x2北京 x3上海 x4深圳 x5男 x6女
用户1 23 1 0 0 1 0
用户2 31 0 0 1 0 1
特征X有6个维度，年龄是连续值，城市和性别用one-hot表示，假设我们用最简单的线性拟合来预测y值:y = w 0 + ∑ i = 1 n w i x i
y=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}
y = w 0 + i = 1 ∑ n w i x i y = w 0 + ∑ i = 1 n w i x i + ∑ i n ∑ j = i + 1 n w i j x i x j
y=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+\sum_{i}^{n} \sum_{j=i+1}^{n} w_{i j} x_{i} x_{j}
y = w 0 + i = 1 ∑ n w i x i + i ∑ n j = i + 1 ∑ n w i j x i x j
传统的线性回归模型公式如下: f ( x ) = w 0 + w 1 x 1 + w 2 x 2 + … + w n x n = w 0 + ∑ i = 1 n w i x i
\begin{aligned} f(x) &=w_{0}+w_{1} x_{1}+w_{2} x_{2}+\ldots+w_{n} x_{n} \\\\ &=w_{0}+\sum_{i=1}^{n} w_{i} x_{i} \end{aligned}
f ( x ) = w 0 + w 1 x 1 + w 2 x 2 + … + w n x n = w 0 + i = 1 ∑ n w i x i 我们在传统的线性回归模型的基础上，考虑任意2个特征分量之间的关系，得到下面的二项式模型: y = w 0 + ∑ i = 1 n w i x i + ∑ i = 1 n − 1 ∑ j = i + 1 n w i j x i x j
y=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+\sum_{i=1}^{n-1} \sum_{j=i+1}^{n} w_{i j} x_{i} x_{j}
y = w 0 + i = 1 ∑ n w i x i + i = 1 ∑ n − 1 j = i + 1 ∑ n w i j x i x j 在数据稀疏的实际应用场景中，二次项wij的训练是非常困难的。因为每个wij都需要大量xi和xj都不为0的样本。但在数据稀疏性比较明显的样本中，xi和xj都不为0的样本会非常稀少，这会导致wij不能得到足够的训练，容易导致参数wij不准确，最终将严重影响模型的性能。 假设有n个特征维度， 为了求解Wij，我们为每个特征维度xi引入一个辅助向量： V i = ( v i 1 , v i 2 , … , v i k ) T
V_{i}=\left(v_{i1}, v_{i2}, \ldots, v_{ik}\right)^{T}
V i = ( v i 1 , v i 2 , … , v i k ) T 隐变量V是所有Vi组成的矩阵: V = [ v 11 v 21 v 31 ⋯ v n 1 v 12 v 22 v 32 ⋯ v n 2 ⋮ ⋮ ⋮ ⋱ ⋮ v 1 k v 2 k v 3 k ⋯ v n k ] = [ V 1 V 2 ⋯ V n ]
V=\left[ \begin{array}{ccccc}{v_{11}} & {v_{21}} & {v_{31}} & {\cdots} & {v_{n 1}} \\\\ {v_{12}} & {v_{22}} & {v_{32}} & {\cdots} & {v_{n 2}} \\\\ {\vdots} & {\vdots} & {\vdots} & {\ddots} & {\vdots} \\\\ {v_{1 k}} & {v_{2 k}} & {v_{3 k}} & {\cdots} & {v_{n k}}\end{array}\right]=\left[ \begin{array}{c}{V_{1}} & {V_{2}} & {\cdots} & {V_{n}}\end{array}\right]
V = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ v 1 1 v 1 2 ⋮ v 1 k v 2 1 v 2 2 ⋮ v 2 k v 3 1 v 3 2 ⋮ v 3 k ⋯ ⋯ ⋱ ⋯ v n 1 v n 2 ⋮ v n k ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ = [ V 1 V 2 ⋯ V n ]
我们需要求出所有wij组成的矩阵W，这是一个nxn矩阵: W = [ w 11 w 12 … w 1 n w 21 w 22 … w 2 n ⋮ ⋮ ⋱ ⋮ w n 1 w n 2 … w n n ]
W=\left[\begin{array}{cccc}{w_{11}} & {w_{12}} & {\dots} & {w_{1 n}} \\\\ {w_{21}} & {w_{22}} & {\dots} & {w_{2 n}} \\\\ {\vdots} & {\vdots} & {\ddots} & {\vdots} \\\\ {w_{n 1}} & {w_{n 2}} & {\dots} & {w_{n n}}\end{array}\right]
W = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ w 1 1 w 2 1 ⋮ w n 1 w 1 2 w 2 2 ⋮ w n 2 … … ⋱ … w 1 n w 2 n ⋮ w n n ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ w = V T V = [ v 11 v 12 v 13 ⋯ v 1 k v 21 v 22 v 23 ⋯ v 2 k ⋮ ⋮ ⋮ ⋱ ⋮ v n 1 v n 2 v n 3 ⋯ v n k ] [ v 11 v 21 v 31 ⋯ v n 1 v 12 v 22 v 32 ⋯ v n 2 ⋮ ⋮ ⋮ ⋱ ⋮ v 1 k v 2 k v 3 k ⋯ v n k ]
w=V^{T} V=\left[ \begin{array}{ccccc}{v_{11}} & {v_{12}} & {v_{13}} & {\cdots} & {v_{1 k}} \\\\ {v_{21}} & {v_{22}} & {v_{23}} & {\cdots} & {v_{2 k}} \\\\ {\vdots} & {\vdots} & {\vdots} & {\ddots} & {\vdots} \\\\ {v_{n 1}} & {v_{n 2}} & {v_{n 3}} & {\cdots} & {v_{n k}}\end{array}\right] \left[\begin{array}{ccccc}{v_{11}} & {v_{21}} & {v_{31}} & {\cdots} & {v_{n 1}} \\\\ {v_{12}} & {v_{22}} & {v_{32}} & {\cdots} & {v_{n 2}} \\\\ {\vdots} & {\vdots} & {\vdots} & {\ddots} & {\vdots} \\\\ {v_{1 k}} & {v_{2 k}} & {v_{3 k}} & {\cdots} & {v_{n k}}\end{array}\right]
w = V T V = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ v 1 1 v 2 1 ⋮ v n 1 v 1 2 v 2 2 ⋮ v n 2 v 1 3 v 2 3 ⋮ v n 3 ⋯ ⋯ ⋱ ⋯ v 1 k v 2 k ⋮ v n k ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ v 1 1 v 1 2 ⋮ v 1 k v 2 1 v 2 2 ⋮ v 2 k v 3 1 v 3 2 ⋮ v 3 k ⋯ ⋯ ⋱ ⋯ v n 1 v n 2 ⋮ v n k ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ 于是上面的二项式模型可写成: y ( x ) = w 0 + ∑ i = 1 n w i x i + ∑ i = 1 n ∑ j = 1 n < v i , v j > x i x j
y(x)=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+\sum_{i=1}^{n} \sum_{j=1}^{n}<v_{i}, v_{j}>x_{i} x_{j}
y ( x ) = w 0 + i = 1 ∑ n w i x i + i = 1 ∑ n j = 1 ∑ n < v i , v j > x i x j 这就是FM模型。 FM模型既可以解决回归问题，也可以解决二分类问题。如可以采用平方差损失函数来求解回归问题，也可以采用交叉熵损失来求解分类问题。在进行二元分类时，输出需要经过sigmoid变换，这与Logistic回归是一样的。直观上看，FM的复杂度是 O（kn2）。
我们可以对上面的FM模型进行进一步化简，降低时间复杂度。∑ i = 1 n ∑ j = 1 n < v i , v j > x i x j
\sum_{i=1}^{n} \sum_{j=1}^{n}<v_{i}, v_{j}>x_{i} x_{j}
i = 1 ∑ n j = 1 ∑ n < v i , v j > x i x j ∑ i = 1 n ∑ j = i + 1 n < v i , v j > x i x j
\sum_{i=1}^{n} \sum_{j=i+1}^{n}<v_{i}, v_{j}>x_{i} x_{j}
i = 1 ∑ n j = i + 1 ∑ n < v i , v j > x i x j ∑ i = 1 n ∑ j = i + 1 n < v i , v j > x i x j = ( 1 2 ∑ i = 1 n ∑ j = 1 n < v i , v j > x i x j ) − ( 1 2 ∑ i = 1 n < v i , v i > x i x i )
\sum_{i=1}^{n} \sum_{j=i+1}^{n}<v_{i}, v_{j}>x_{i} x_{j}=(\frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n}<v_{i}, v_{j}>x_{i} x_{j})-(\frac{1}{2} \sum_{i=1}^{n}<v_{i}, v_{i}>x_{i} x_{i})
i = 1 ∑ n j = i + 1 ∑ n < v i , v j > x i x j = ( 2 1 i = 1 ∑ n j = 1 ∑ n < v i , v j > x i x j ) − ( 2 1 i = 1 ∑ n < v i , v i > x i x i ) ∑ i = 1 n ∑ j = i + 1 n < v i , v j > x i x j = 1 2 ( ( ∑ i = 1 n ∑ j = 1 n ∑ f = 1 k v i , f v j , f x i x j ) − ( ∑ i = 1 n ∑ f = 1 k v i , f v i , f x i x i ) ) = 1 2 ( ( ∑ f = 1 k ∑ i = 1 n v i , f x i ∑ j = 1 n v j , f x j ) − ( ∑ i = 1 n ∑ f = 1 k v i , f v i , f x i x i ) )
\sum_{i=1}^{n} \sum_{j=i+1}^{n}<v_{i}, v_{j}>x_{i} x_{j} =\frac{1}{2}\left(\left(\sum_{i=1}^{n} \sum_{j=1}^{n} \sum_{f=1}^{k} v_{i,f} v_{j,f} x_{i} x_{j}\right)-\left(\sum_{i=1}^{n} \sum_{f=1}^{k} v_{i,f} v_{i,f} x_{i} x_{i}\right)\right) \\\\ =\frac{1}{2}\left(\left(\sum_{f=1}^{k} \sum_{i=1}^{n} v_{i,f} x_{i} \sum_{j=1}^{n} v_{j,f} x_{j}\right)-\left(\sum_{i=1}^{n} \sum_{f=1}^{k} v_{i,f} v_{i,f} x_{i} x_{i}\right)\right)
i = 1 ∑ n j = i + 1 ∑ n < v i , v j > x i x j = 2 1 ⎝ ⎛ ⎝ ⎛ i = 1 ∑ n j = 1 ∑ n f = 1 ∑ k v i , f v j , f x i x j ⎠ ⎞ − ⎝ ⎛ i = 1 ∑ n f = 1 ∑ k v i , f v i , f x i x i ⎠ ⎞ ⎠ ⎞ = 2 1 ⎝ ⎛ ⎝ ⎛ f = 1 ∑ k i = 1 ∑ n v i , f x i j = 1 ∑ n v j , f x j ⎠ ⎞ − ⎝ ⎛ i = 1 ∑ n f = 1 ∑ k v i , f v i , f x i x i ⎠ ⎞ ⎠ ⎞ ∑ i = 1 n v i , f x i ∑ j = 1 n v j , f x j = ( ∑ i = 1 n v i , f x i ) ( ∑ j = 1 n v j , f x j )
\sum_{i=1}^{n} v_{i,f} x_{i} \sum_{j=1}^{n} v_{j,f} x_{j}=\left(\sum_{i=1}^{n} v_{i,f} x_{i}\right)\left(\sum_{j=1}^{n} v_{j,f} x_{j}\right)
i = 1 ∑ n v i , f x i j = 1 ∑ n v j , f x j = ( i = 1 ∑ n v i , f x i ) ( j = 1 ∑ n v j , f x j ) ∑ i = 1 n ∑ j = i + 1 n < v i , v j > x i x j = 1 2 ( ∑ f = 1 k ( ∑ i = 1 n v i , f x i ) ( ∑ j = 1 n v j , f x j ) − ∑ i = 1 n ∑ f = 1 k v i , f v i , f x i x i ) = 1 2 ∑ f = 1 k ( ( ∑ i = 1 n v i , f x i ) ( ∑ j = 1 n v j , f x j ) − ∑ i = 1 n v i , f 2 x i 2 ) = 1 2 ∑ f = 1 k ( ( ∑ i = 1 n v i , f x i ) 2 − ∑ i = 1 n v i , f 2 x i 2 )
\sum_{i=1}^{n} \sum_{j=i+1}^{n}<v_{i}, v_{j}>x_{i} x_{j} =\frac{1}{2}\left(\sum_{f=1}^{k}\left(\sum_{i=1}^{n} v_{i,f} x_{i}\right)\left(\sum_{j=1}^{n} v_{j,f} x_{j}\right)-\sum_{i=1}^{n} \sum_{f=1}^{k} v_{i,f} v_{i,f} x_{i} x_{i}\right) \\\\ =\frac{1}{2} \sum_{f=1}^{k}\left(\left(\sum_{i=1}^{n} v_{i,f} x_{i}\right)\left(\sum_{j=1}^{n} v_{j,f} x_{j}\right)-\sum_{i=1}^{n} v_{i,f}^{2} x_{i}^{2}\right) \\\\ =\frac{1}{2} \sum_{f=1}^{k}\left(\left(\sum_{i=1}^{n} v_{i,f} x_{i}\right)^{2}-\sum_{i=1}^{n} v_{i,f}^{2} x_{i}^{2}\right)
i = 1 ∑ n j = i + 1 ∑ n < v i , v j > x i x j = 2 1 ⎝ ⎛ f = 1 ∑ k ( i = 1 ∑ n v i , f x i ) ( j = 1 ∑ n v j , f x j ) − i = 1 ∑ n f = 1 ∑ k v i , f v i , f x i x i ⎠ ⎞ = 2 1 f = 1 ∑ k ( ( i = 1 ∑ n v i , f x i ) ( j = 1 ∑ n v j , f x j ) − i = 1 ∑ n v i , f 2 x i 2 ) = 2 1 f = 1 ∑ k ⎝ ⎛ ( i = 1 ∑ n v i , f x i ) 2 − i = 1 ∑ n v i , f 2 x i 2 ⎠ ⎞ 这样时间复杂度就降为O（kn）。把上式带入到FM模型公式中，我们就得到了时间复杂度优化到O（kn）的FM模型公式。
梯度下降法求解梯度公式: ∂ y ( x ) ∂ θ = { 1 , if θ is w 0 x i , if θ is w i x i ∑ j = 1 n v j , f x j − v i f x i 2 , if θ is v i f
\frac{\partial y(x)}{\partial \theta} =\begin{cases}{1,} & {\text { if } \theta \text { is } w_{0}} \\\\ {x_{i},} & {\text { if } \theta \text { is } w_{i}} \\\\ {x_{i} \sum_{j=1}^{n} v_{j,f} x_{j}-v_{i f} x_{i}^{2},} & {\text { if } \theta \text { is } v_{i f}}\end{cases}
∂ θ ∂ y ( x ) = ⎩ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎧ 1 , x i , x i ∑ j = 1 n v j , f x j − v i f x i 2 , if θ is w 0 if θ is w i if θ is v i f ∑ j = 1 n v j , f x j
\sum_{j=1}^{n} v_{j,f} x_{j}
j = 1 ∑ n v j , f x j ∂ y ^ ∂ v i f
\frac{\partial \hat{y}}{\partial v_{i f}}
∂ v i f ∂ y ^
SVM的二元特征交叉参数是独立的，而FM的二元特征交叉参数是两个k维的向量vi、vj，交叉参数就不是独立的，而是相互影响的；
论文:Field-aware Factorization Machineshttps://www.csie.ntu.edu.tw/~r01922136/slides/ffm.pdf 。举例:
field field1年龄 field2城市 field3性别
feature x1年龄 x2北京 x3上海 x4深圳 x5男 x6女
用户1 23 1 0 0 1 0
用户2 31 0 0 1 0 1
对于连续特征，一个特征就对应一个Field。或者对连续特征离散化，一个分箱成为一个特征；对于离散特征，采用one-hot编码，同一种属性的归到一个Field。
FM对每一个新特征学习一个长度为k的隐式向量vi，共有nk个参数；FFM是对每一个新特征学习f个长度为k的隐式向量vifj，共有nkf个参数。即FFM有f个FM中的参数矩阵，针对每个field都有一个。从这个角度看，FM是FFM的f=1的特例。FFM的模型公式如下: y ( x ) = w 0 + ∑ i = 1 n w i x i + ∑ i = 1 n ∑ j = i + 1 n < v i , f j , v j , f i > x i x j
y(x)=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+\sum_{i=1}^{n} \sum_{j=i+1}^{n}<v_{i,f_{j}}, v_{j,f_{i}}> x_{i} x_{j}
y ( x ) = w 0 + i = 1 ∑ n w i x i + i = 1 ∑ n j = i + 1 ∑ n < v i , f j , v j , f i > x i x j 网上实现的FFM模型都没有考虑非交叉特征，即省略了常数项和一次项，实现的FFM模型公式如下: ϕ ( w , x ) = ∑ j 1 , j 2 ∈ C 2 < w j 1 , f 2 , w j 2 , f 1 > x j 1 x j 2
\phi(\mathbf{w}, \mathbf{x})=\sum_{j_{1}, j_{2} \in C_{2}}<w_{j_{1}, f_{2}}, w_{j_{2}, f_{1}}> x_{j_{1}} x_{j_{2}}
ϕ ( w , x ) = j 1 , j 2 ∈ C 2 ∑ < w j 1 , f 2 , w j 2 , f 1 > x j 1 x j 2 https://github.com/ycjuan/libffm 。此FFM模型采用logistic loss作为损失函数，和L2惩罚项，因此只能用于二元分类问题。损失函数如下: min w ∑ i = 1 L log ( 1 + exp ( − y i ϕ ( w , x i ) ) ) + λ 2 ∥ w ∥ 2
\min_{w} \sum_{i=1}^{L} \log \left(1+\exp \left(-y_{i} \phi\left(\mathbf{w}, \mathbf{x}_{i}\right)\right)\right)+\frac{\lambda}{2}\|\mathbf{w}\|^{2}
w min i = 1 ∑ L log ( 1 + exp ( − y i ϕ ( w , x i ) ) ) + 2 λ ∥ w ∥ 2
论文:DeepFM: A Factorization-Machine based Neural Network for CTR Predictionhttps://arxiv.org/pdf/1703.04247.pdf 。
DeepFM包含两部分：FM部分与DNN部分，分别负责一二阶特征的提取和大于二阶的高阶特征的提取。这两部分共享同样的输入。对于特征i，标量wi用于表示其一阶权重。隐向量Vi用于表示特征i与其他特征之间的相互作用。Vi在FM部分是用于对2阶特征进行建模，即特征之间的相互作用；Vi输入到Deep部分则是用于进行大于二阶的高阶特征建模。y ^ = sigmoid ( y F M + y D N N )
\hat y=\operatorname{sigmoid}\left(y_{F M}+y_{D N N}\right)
y ^ = s i g m o i d ( y F M + y D N N )
y F M = w 0 + ∑ i = 1 n w i x i + ∑ i = 1 n ∑ j = 1 n < v i , v j > x i x j
y_{F M}=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+\sum_{i=1}^{n} \sum_{j=1}^{n}<v_{i}, v_{j}>x_{i} x_{j}
y F M = w 0 + i = 1 ∑ n w i x i + i = 1 ∑ n j = 1 ∑ n < v i , v j > x i x j 注意： 1 2 ∑ f = 1 k ( ( ∑ i = 1 n v i , f x i ) 2 − ∑ i = 1 n v i , f 2 x i 2 )
\frac{1}{2} \sum_{f=1}^{k}\left(\left(\sum_{i=1}^{n} v_{i,f} x_{i}\right)^{2}-\sum_{i=1}^{n} v_{i,f}^{2} x_{i}^{2}\right)
2 1 f = 1 ∑ k ⎝ ⎛ ( i = 1 ∑ n v i , f x i ) 2 − i = 1 ∑ n v i , f 2 x i 2 ⎠ ⎞
deep部分是一个全连接神经网络。由于CTR的输入一般是极其稀疏的。因此需要重新设计网络结构。具体实现中为，在第一层隐含层之前，引入一个嵌入层（embedding）来完成将输入向量压缩到低维稠密向量。a 0 = [ e 1 , e 2 , ⋯  , e m ]
a_{0}=\left[e_{1}, e_{2}, \cdots, e_{m}\right]
a 0 = [ e 1 , e 2 , ⋯ , e m ] a l + 1 = σ ( W ( l ) a ( l ) + b ( l ) )
a_{l+1}=\sigma\left(W^{(l)} a^{(l)}+b^{(l)}\right)
a l + 1 = σ ( W ( l ) a ( l ) + b ( l ) ) 嵌入层有两个有趣的特性：
尽管不同field的输入长度不同，但是embedding之后向量的长度均为K；
在FM里得到的隐变量Vik现在作为嵌入层网络的权重，Vik是嵌入层中第i个特征连接到嵌入层第k个节点的权重。
对于第二点举例说明: [ V 5 , 1 , V 6 , 1 , V 7 , 1 , ⋯  , V 13 , 1 , V 14 , 1 , V 15 , 1 V 5 , 2 , V 6 , 2 , V 7 , 2 , ⋯  , V 13 , 2 , V 14 , 2 , V 15 , 2 V 5 , 3 , V 6 , 3 , V 7 , 3 , ⋯  , V 13 , 3 , V 14 , 3 , V 15 , 3 V 5 , 4 , V 6 , 4 , V 7 , 4 , ⋯  , V 13 , 4 , V 14 , 4 , V 15 , 4 V 5 , 5 , V 6 , 5 , V 7 , 5 , ⋯  , V 13 , 5 , V 14 , 5 , V 15 , 5 ]
\left[\begin{array}{c}{V_{5,1}, V_{6,1}, V_{7,1},\cdots, V_{13,1},V_{14,1}, V_{15,1} }\\\\ {V_{5,2}, V_{6,2}, V_{7,2},\cdots, V_{13,2},V_{14,2}, V_{15,2} }\\\\{V_{5,3}, V_{6,3}, V_{7,3},\cdots, V_{13,3},V_{14,3}, V_{15,3} } \\\\ {V_{5,4}, V_{6,4}, V_{7,4},\cdots, V_{13,4},V_{14,4}, V_{15,4} } \\\\
{V_{5,5}, V_{6,5}, V_{7,5},\cdots, V_{13,5},V_{14,5}, V_{15,5} }
\end{array}\right]
⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ V 5 , 1 , V 6 , 1 , V 7 , 1 , ⋯ , V 1 3 , 1 , V 1 4 , 1 , V 1 5 , 1 V 5 , 2 , V 6 , 2 , V 7 , 2 , ⋯ , V 1 3 , 2 , V 1 4 , 2 , V 1 5 , 2 V 5 , 3 , V 6 , 3 , V 7 , 3 , ⋯ , V 1 3 , 3 , V 1 4 , 3 , V 1 5 , 3 V 5 , 4 , V 6 , 4 , V 7 , 4 , ⋯ , V 1 3 , 4 , V 1 4 , 4 , V 1 5 , 4 V 5 , 5 , V 6 , 5 , V 7 , 5 , ⋯ , V 1 3 , 5 , V 1 4 , 5 , V 1 5 , 5 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ V 5 , 1 , V 6 , 1 , V 7 , 1 , ⋯  , V 13 , 1 , V 14 , 1 , V 15 , 1 V 5 , 2 , V 6 , 2 , V 7 , 2 , ⋯  , V 13 , 2 , V 14 , 2 , V 15 , 2 V 5 , 3 , V 6 , 3 , V 7 , 3 , ⋯  , V 13 , 3 , V 14 , 3 , V 15 , 3 V 5 , 4 , V 6 , 4 , V 7 , 4 , ⋯  , V 13 , 4 , V 14 , 4 , V 15 , 4 V 5 , 5 , V 6 , 5 , V 7 , 5 , ⋯  , V 13 , 5 , V 14 , 5 , V 15 , 5 ] [ x 5 x 6 x 7 ⋯ x 13 x 14 x 15 ]
\left[\begin{array}{c}{V_{5,1}, V_{6,1}, V_{7,1},\cdots, V_{13,1},V_{14,1}, V_{15,1} }\\\\ {V_{5,2}, V_{6,2}, V_{7,2},\cdots, V_{13,2},V_{14,2}, V_{15,2} }\\\\{V_{5,3}, V_{6,3}, V_{7,3},\cdots, V_{13,3},V_{14,3}, V_{15,3} } \\\\ {V_{5,4}, V_{6,4}, V_{7,4},\cdots, V_{13,4},V_{14,4}, V_{15,4} } \\\\
{V_{5,5}, V_{6,5}, V_{7,5},\cdots, V_{13,5},V_{14,5}, V_{15,5} }
\end{array}\right]\left[\begin{array}{c}{x_{5}} \\\\ {x_{6}} \\\\ {x_{7}} \\\\ \cdots \\\\ {x_{13}} \\\\ {x_{14}} \\\\ {x_{15}} \end{array}\right]
⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ V 5 , 1 , V 6 , 1 , V 7 , 1 , ⋯ , V 1 3 , 1 , V 1 4 , 1 , V 1 5 , 1 V 5 , 2 , V 6 , 2 , V 7 , 2 , ⋯ , V 1 3 , 2 , V 1 4 , 2 , V 1 5 , 2 V 5 , 3 , V 6 , 3 , V 7 , 3 , ⋯ , V 1 3 , 3 , V 1 4 , 3 , V 1 5 , 3 V 5 , 4 , V 6 , 4 , V 7 , 4 , ⋯ , V 1 3 , 4 , V 1 4 , 4 , V 1 5 , 4 V 5 , 5 , V 6 , 5 , V 7 , 5 , ⋯ , V 1 3 , 5 , V 1 4 , 5 , V 1 5 , 5 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ x 5 x 6 x 7 ⋯ x 1 3 x 1 4 x 1 5 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ V 7 , 1 V 7 , 2 V 7 , 3 V 7 , 4 V 7 , 5 ] ∗ x 7
\left[\begin{array}{c} {V_{7,1}} \\\\ {V_{7,2}} \\\\ {V_{7,3}} \\\\ {V_{7,4}} \\\\ {V_{7,5}} \end{array}\right] \ast x_{7}
⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ V 7 , 1 V 7 , 2 V 7 , 3 V 7 , 4 V 7 , 5 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ ∗ x 7 [ V 7 , 1 V 7 , 2 V 7 , 3 V 7 , 4 V 7 , 5 ] x 7 [ V 20 , 1 V 20 , 2 V 20 , 3 V 20 , 4 V 20 , 5 ] x 20 = < v 7 , v 20 > x 7 x 20
\left[\begin{array}{c} {V_{7,1}} \\\\ {V_{7,2}} \\\\ {V_{7,3}} \\\\ {V_{7,4}} \\\\ {V_{7,5}} \end{array}\right] x_{7} \left[\begin{array}{c} {V_{20,1}} \\\\ {V_{20,2}} \\\\ {V_{20,3}} \\\\ {V_{20,4}} \\\\ {V_{20,5}} \end{array}\right] x_{20}=<v_{7}, v_{20}>x_{7} x_{20}
⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ V 7 , 1 V 7 , 2 V 7 , 3 V 7 , 4 V 7 , 5 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ x 7 ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ V 2 0 , 1 V 2 0 , 2 V 2 0 , 3 V 2 0 , 4 V 2 0 , 5 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ x 2 0 = < v 7 , v 2 0 > x 7 x 2 0
注意:
