線性代數是數學的一個重要分支，經常被應用到工程問題中，要理解深度學習以及操作深度學習，那麼對於線性代數深刻的理解是非常重要的，以下摘要是我從DL book的第二章線性代數中抽取出來的比較有意思的一些理解基礎線代問題的另一些非常形象易懂的思路。
2.3 Identity and inverse matrices
在線性方程組的求解當中，Identity和inverse matrice有很重要的作用，詳細求解例子如下圖所示：
在實際應用場景中，其中inverse matrice
不一定能找到，另外找到的話也不一定能在數字電腦中精度無損的保存下來。
2.4 Linear dependence, span, and rank
爲了求解方程
我們還可以從另外一個角度去看這個問題，我們把矩陣A中的每一列看成是一個方向，那麼上述方程就可以看成是如何從原點（全0）到達b，每次走都只能沿着A中每一列所代表的方向。從這個角度去思考的話，上述方程可以寫成如下形式：
所以如果想要對於任何的b（n維度）都能找到對應的解x（m維度）的話，那麼n-D空間中的任意一個向量都能通過線性組合A（nxm維度）矩陣中的m列來得到，所以矩陣A的列數一定要大於等於其行數；如果將A矩陣看成是n條方程組成的方程組，那麼只有當方程組個數小於等於未知數個數時才能確保該方程組有解。在該方程的求解中如果要找到A矩陣的逆作爲該方程求解的工具，那麼A矩陣必須是方形矩陣並且每一列都是列獨立的。
線代中還有一些非常重要的概念會被用到，但在alexnet提出的CNN網絡中的話也已經夠用了；另外的話怎麼樣去設計loss函數然後計算其gradient用於backward propagation時的更新用到了其他的一些線代知識，我將在之後的博文中針對如何使用梯度下降法優化損失函數進行探討。
