在三家分晉這件事情上，司馬光還談到了根據才與德對人的劃分。他認爲智伯之所以滅亡，是因爲智瑤的才能勝過了他的德行，以無德而使其才，施暴於韓、趙、魏，最終導致三家羣起而盡滅智氏。
根據才與德的多與寡，司馬光將人分爲四等。首先，第一等是是才德兼備的人，這樣的人稱爲“聖人”；然後，第二等是德勝於才的人，這樣的人稱爲“君子”，再次，第三等是德才雙無的人，這樣的人稱爲“愚人”，最後，第四等是才勝於德的人，這樣的人稱爲“小人”。
按照這樣的劃分，智瑤明顯是屬於最低一等的人，而且初看似乎也並不合理。但是考慮一下司馬光的爲人及所處的時代就不難理解他的出發點了。司馬光是一個極度尊崇三王之道的守舊派人物，而又身逢宋中後期那種積弊叢生迫切需要變革的時代。這兩點決定了他堅定不移的按照儒家傳統來衡量人才，而且是守業的人才。他的侷限性也很明顯，無法根據國家的不同階段綜合來考慮，當然這也不現實，承平之際誰會去想開基立業的事情。
按照司馬光的理解，用人的關鍵在於，德才兼備的“聖人”是首先要考慮的，這個毫無疑問，誰都想要既有德行又有才能的人。關鍵的區別是在後面三者，他認爲如果找不到“聖人”，其次選“君子”，也就是德行好才能比較次的人，再次選“愚人”，而不能要“小人”。原因呢？很簡單，“君子”會將才能用在好的地方，而“小人”會將才能用在壞的地方，而且他的才能使得他的所作所爲超出常人的控制，爲禍不淺，“愚人”因爲沒有才能，所以縱然想用在壞的地方也是辦不到的，而且爲壞也非常有限，容易制止。從正向的影響能力上看，君子、愚人、小人的順序倒也解釋的通。
但仔細考慮一下，問題就出來了。那“君子”的纔到底有多少呢？多了那就成“聖人”了，自然是沒問題的，少了就成了徒有德行的平庸之輩。這樣的人如果讓他默守陳規估計是能夠勝任的，但是如果讓他破舊立新豈不太強人所難了。再說“愚人”，基本上也就等同於位屍素餐了，只是與君子有無德行的區別。反觀對於小人，那是不是隻能一概不用？這本來就不是一件非此即彼的事情，就像“君子”是德勝才，而不是全無才，小人自然也不是全無德，那些少德而多才的，即便德行不符合儒家正統，一概棄用也是不合理的，尤其是在急需變革的時代，這個時候才能往往是第一要素。
若無才，則事不濟，若事不濟，何來守成一說，此時空有德行也是枉然。越是改朝換代、破舊立新的年代，這一點越突出，“聖人”與“小人”救世，“君子”與“愚人”庸庸。若那些開國立業的功勳之臣都是“聖人”和“君子”，那麼何來明目張膽的攀龍附鳳而取富貴之說。這就是我們常說的“用人不拘一格”，關鍵看管理者能否合理的使用並且把控。