在三家分晋这件事情上，司马光还谈到了根据才与德对人的划分。他认为智伯之所以灭亡，是因为智瑶的才能胜过了他的德行，以无德而使其才，施暴于韩、赵、魏，最终导致三家群起而尽灭智氏。
根据才与德的多与寡，司马光将人分为四等。首先，第一等是是才德兼备的人，这样的人称为“圣人”；然后，第二等是德胜于才的人，这样的人称为“君子”，再次，第三等是德才双无的人，这样的人称为“愚人”，最后，第四等是才胜于德的人，这样的人称为“小人”。
按照这样的划分，智瑶明显是属于最低一等的人，而且初看似乎也并不合理。但是考虑一下司马光的为人及所处的时代就不难理解他的出发点了。司马光是一个极度尊崇三王之道的守旧派人物，而又身逢宋中后期那种积弊丛生迫切需要变革的时代。这两点决定了他坚定不移的按照儒家传统来衡量人才，而且是守业的人才。他的局限性也很明显，无法根据国家的不同阶段综合来考虑，当然这也不现实，承平之际谁会去想开基立业的事情。
按照司马光的理解，用人的关键在于，德才兼备的“圣人”是首先要考虑的，这个毫无疑问，谁都想要既有德行又有才能的人。关键的区别是在后面三者，他认为如果找不到“圣人”，其次选“君子”，也就是德行好才能比较次的人，再次选“愚人”，而不能要“小人”。原因呢？很简单，“君子”会将才能用在好的地方，而“小人”会将才能用在坏的地方，而且他的才能使得他的所作所为超出常人的控制，为祸不浅，“愚人”因为没有才能，所以纵然想用在坏的地方也是办不到的，而且为坏也非常有限，容易制止。从正向的影响能力上看，君子、愚人、小人的顺序倒也解释的通。
但仔细考虑一下，问题就出来了。那“君子”的才到底有多少呢？多了那就成“圣人”了，自然是没问题的，少了就成了徒有德行的平庸之辈。这样的人如果让他默守陈规估计是能够胜任的，但是如果让他破旧立新岂不太强人所难了。再说“愚人”，基本上也就等同于位尸素餐了，只是与君子有无德行的区别。反观对于小人，那是不是只能一概不用？这本来就不是一件非此即彼的事情，就像“君子”是德胜才，而不是全无才，小人自然也不是全无德，那些少德而多才的，即便德行不符合儒家正统，一概弃用也是不合理的，尤其是在急需变革的时代，这个时候才能往往是第一要素。
若无才，则事不济，若事不济，何来守成一说，此时空有德行也是枉然。越是改朝换代、破旧立新的年代，这一点越突出，“圣人”与“小人”救世，“君子”与“愚人”庸庸。若那些开国立业的功勋之臣都是“圣人”和“君子”，那么何来明目张胆的攀龙附凤而取富贵之说。这就是我们常说的“用人不拘一格”，关键看管理者能否合理的使用并且把控。