已知變量X和Y爲線性關係（這裏XY均爲nx1的列向量），爲了得知X和Y到底具有怎樣的線性關係（也即求解X的係數），如果這是一個工程問題，我們解決這一問題的方法就是對X和Y進行採樣，獲得很多組樣本，然後就能求解出係數了，按照線代的理論，係數矩陣爲nxn方陣，且秩爲n時，方程具有唯一解，如果採樣點過多，也即方程的數目多於未知數的數目，則方程組無解，這時只能求出一個近似解，以不同的目的獲得的近似解是不同的，如果爲了使方程左右兩邊的誤差的平方和最小，而獲得的近似解，就是最小二乘解。這個問題的證明在研究生的矩陣分析引論數學課上學過，現在也忘光了。
例子：假設變量y是n個變量xi的線性組合，求係數。
設方程爲AX=y，也即
爲了計算出係數a1、a2、···an的值，我們至少需要n次X、Y的採樣值，形如：
這樣就能求解出係數a1、a2、···an的值了，如果採樣樣本不止n個，而是多於n個，也不要緊，雖然會會造成方程組無解，但是可以求出最小二乘解。
把方程組寫成矩陣形式爲：
XA=Y （式2）
至此，就求出了所有的係數ai