雖然史書上並沒有明確記載隋煬帝楊廣的女兒究竟有多少個，不過從各處零散的史料可以得知，楊廣唯一明確有封號記載的女兒是長女南陽公主，而在楊廣被弒後跟隨嫡母蕭皇后去了突厥的至少有3個女兒，楊廣下江都前留在長安的又有數女，其中一位由於爲唐太宗生育了才皇子得以在史書中留下6個字的記載。
首先來看南陽公主。南陽公主，不僅是隋煬帝唯一記載有封號的女兒，同樣也是隋煬帝諸女中唯一在史書中成傳的女兒。南陽公主出生於開皇六年，雖然史書上並沒有明確記載南陽的生母爲誰，但是從其出生的時間來看，南陽當爲蕭皇后嫡出的女兒。
隋文帝開皇年間，楊廣被封爲晉王，爲了將自己的哥哥楊勇從太子之位上拉下來，楊廣費盡心機討好自己的母親獨孤皇后。而獨孤皇后則是歷史上非常有名的悍婦+妒婦，不僅不準自己的丈夫納妾，就連朝中大臣和自己的兒子寵愛家中的小妾，都會遭到她的詆譭。楊廣正是摸準了自己老媽的這個心理，於是“後庭有子，皆不育之”——他的後院中姬妾雖然衆多，卻只有嫡妻蕭氏能夠生兒育女，楊廣以此來取媚獨孤後。而鑑於南陽公主正是於開皇年間出生的，此時的楊廣爲了自己的奪嫡大計並無庶子庶女出生，所以南陽公主爲蕭皇后嫡出，是確鑿無疑的。
楊廣對自己的這個長女是寵愛非常，這一點從南陽公主能夠時時跟隨父親一起出遊巡幸便能看出來。
根據《馬伕人墓誌銘並序》上的介紹，這位馬伕人是南陽公主的女師，與公主之間的感情相當深厚，所以大業十年四月楊廣爲了徵高麗駕幸北平郡時，馬伕人也“扈從鑾駕往北平郡”，跟隨南陽公主的鑾駕一同上了前線。等到義寧二年楊廣在江都被宇文化及縊殺時，南陽公主也與蕭皇后一同被宇文化及帶到了聊城。由此可見楊廣無論是東征還是南巡，都將自己的愛女帶在了身邊，否則南陽也不會在楊廣死後被宇文化及帶走。
同時據岑仲勉先生的統計，楊廣在位的十四年裏，累計下來在長安待的時間不足一年，絕大部分時間楊廣不是在巡幸的路上就是在準備巡幸。可見南陽公主能夠與父母一同出遊而不是被留在長安，的確是深得父親的寵愛的。這於南陽而言是一件幸事，正因爲如此，後來李淵在長安稱帝，南陽公主纔沒有同其他那些被父親遺忘在長安的女兒孫子般，淪爲戰利品被李唐王朝隨意打發。然而和父親一起出遊，同樣也是南陽半生淒涼的肇始。
開皇十九年，南陽下嫁許國公宇文述的次子宇文士及。初爲人婦的南陽公主並沒有恃寵生驕，而是孝順非常，公公宇文述病重，南陽不僅親自打理飲食，還侍奉湯藥親力親爲。夫妻二人也感情和睦，育有一子，取名爲禪師。只可惜世事難料，親手將南陽摯愛的父親縊殺的不是別人，正是駙馬宇文士及的胞兄宇文化及。
或許是因爲有着如此沉痛的國仇家恨，也或許是在南陽心中最爲念及的始終是父女情深，所以當宇文化及爲竇建德所敗後，竇建德要將宇文家的人斬草除根，只不過考慮到禪師是南陽公主之子，於是竇建德表示“公主之子，法當從坐，若不能割愛，亦聽留之”，然而南陽卻是毫不猶豫地將自己的兒子交了出來，任由竇建德將其殺害。
國破家亡，夫離子喪，南陽在重重打擊之下，心灰意冷削髮爲尼。不過沒過多久，竇建德的割據勢力就被李唐王朝消滅，於是，南陽與曾經的駙馬宇文士及在洛陽城中不期而遇，而此時的宇文士及早已投奔了李唐王朝。
宇文士及請求與南陽相見，南陽並不願見他，於是士及只得站在門外懇求南陽與他重歸於好，南陽對此自然是嚴辭拒絕，並說道：“我和你是不共戴天的仇人，現在我只恨不得親手殺了你，只不過考慮到當初謀逆的事情你並不知曉，所以纔沒這麼做，你若想死的話，那就進來吧！”宇文士及無奈之下，只得拜別離去。後來宇文士及出仕秦王李世民，因功進封郢國公，唐高祖李淵又將壽光縣主嫁予其爲妻，而士及的胞妹亦被納入唐宮，李淵對其寵愛非常，甚至一度想過要立宇文昭儀爲後，對其所生的兩位皇子也十分寵愛，當然，這些都是後話了。
關於南陽公主本人的事蹟便就此戛然而止，史書中並沒有明說她晚景如何，不過可以想見的是，已經無親無故孑然一身的南陽，除了皈依佛門外再無別路可尋，這樣的景況將是何等的淒涼。然而，如果說南陽前半生的風光是其顯赫的出身先天所決定的，那麼她後半生的淒涼，其實很大一部分是其太過剛烈的性格所造成的——若沒有狠心將自己的兒子禪師交與竇建德殺害，若是宇文士及請求複合時南陽能夠答應，或許南陽的列傳，未必會以如此慘烈的方式收尾。
既然有正面，就會有反面，與南陽公主烈女般的節操形成鮮明對比的，是楊廣那羣荒淫的女兒。這些公主雖然具體封號不詳，也無更詳細的生平事蹟，卻完美繼承了老爹楊廣荒淫無度的特質，更顯得她們那節烈的姐妹南陽公主如同基因突變一般與衆不同。而這羣公主們之所以爲人所知，完全是拜一樁荒唐的淫亂後宮事件所賜。
話說這場淫亂後宮事件中的兩個男主角宇文皛與蕭鉅也是極品，當然，這也不能完全怪人家宇文皛和蕭鉅，畢竟要是皇帝作風正派潔身自好的話，當臣子的也絕對不敢這麼放肆胡來。楊廣當上皇帝后沉湎於女色之中，成天就知道享樂，不管是下了朝還是在外巡遊，經常在林苑山亭間舉行大型的宴飲，身邊不僅要有後宮嬪妃相伴，甚至還將父親隋文帝死後那羣本該出家清修的嬪妃一起帶出來喫喝玩樂。
正所謂是上行下效，當皇帝的都這麼以身作則了，這些臭味相投的寵臣們自然曉得緊跟楊廣的步伐，宇文皛和蕭鉅就是其中之一。因爲備受楊廣的寵愛，出入宮廷完全沒有限制，於是宇文皛和蕭鉅經常到後宮中與楊廣的嬪妃淫亂，甚至還藉機勾引了不少公主，如此囂張的行爲傳到蕭後的耳裏，蕭後忍無可忍之下就告訴了楊廣，結果楊廣完全不當回事，根本沒有怪罪他們的意思。
也正因爲楊廣的默許，這些與宇文皛、蕭鉅大膽通姦的公主們一時間相安無事，而且這樣一來也有好處，日後跟着蕭後去了突厥，這些公主面對突厥最流行的兄終弟及的風俗也能適應得很快。
隨着楊廣的身死國滅，這羣曾經肆意張揚的公主們一夕之間徹底淪爲了亡國奴，只能跟着嫡母蕭後在宇文化及、竇建德等人手中輾轉，最後又被擄到了突厥。大唐貞觀4年，李靖大破突厥，蕭後帶着嫡孫楊政道回到長安。去突厥的時候蕭後是帶着孫子和一羣女兒一起去的，結果回來的時候只見孫子不見女兒，這不禁讓人聯想到北宋滅亡時，一羣嬪妃公主被擄到金朝慘遭衆多宗室、將領的蹂躪後，絕大部分也是就此杳無音訊。
不過儘管被楊廣帶在身邊的這些女兒身爲公主品行不夠端正，行爲舉止也放蕩得很，但話又說回來，比起被楊廣丟在長安不聞不問的那些女兒，這些公主至少也算是曾經幸福過的。
岑仲勉先生曾統計過，楊廣登基14年，待在在長安的時間僅有186天，就連冊封嫡長子楊昭爲太子時，楊廣都沒回長安，只派了個使者帶了封詔書回去。不過好在楊昭是太子，父親不想見他他可以主動前往洛陽求見父親，而那些被丟在長安的公主就淒涼了，生母不得寵，自己也沒本事跟在父親身邊，嫡母蕭後在楊廣面前一是說不上話，二也是根本管不了丈夫的事，想要玩得樂不思蜀的楊廣自己記起還有這麼羣女兒，簡直就是比登天還難。
所以李淵在長安稱帝后，這些被丟在長安的隋朝公主就通通被歸爲戰利品一類，對照一下隋滅陳時隋文帝將一大羣陳朝公主進行了歡樂大派送：留下最絕色的侍奉自己，賞幾個去伺候太子和親王，再賞幾個給大臣做妾，李淵也有樣學樣，處理了這些前朝公主。其中就有一位因爲有幸爲唐太宗生育了皇子的楊氏，只不過雖然同樣號稱爲隋煬帝女，但史書中對這位楊氏的記載卻只有一句話：“恪母，隋煬帝女也。”可見楊氏雖然名義上爲隋煬帝女，然而連生母爲誰、排行第幾、封號爲何都不知曉。
楊氏沒有公主封號，說明沒有受過正式冊封——隋煬帝登基後便去了洛陽，即使是冊立太子也不過是下詔遣使回長安，更不用說還會特意記得要去冊封一個留在長安的公主了。也由此可知楊氏的生母身份較低，且並不得寵，只是一名普通後宮。
而史官在史書中極爲同情李恪，儘管完全列舉不出李恪究竟有何政績和才華，但仍舊對李恪是各種溢美之詞，所以在其傳記裏特別提到“恪母，隋煬帝女也”這一句，就是爲了表示李恪生母身份與衆不同。但即便如此也仍只有隋煬帝女這個頭銜，可見恪母無論是在隋宮還是唐宮地位都不高。
何況恪母若是受寵的話，理應同其長姐南陽公主一樣，陪伴在隋煬帝身側遠離長安纔是。可事實卻恰恰相反，依據李恪生於武德二年的情況來看，恪母應當是武德元年便入了宮。換言之，李淵在長安甫一登基，恪母便就此成了秦王府後院姬妾中的一員，很顯然恪母雖然說起來也是隋煬帝的女兒，卻根本得不到父親的重視和寵愛，所以纔會被遺忘在長安，被新建立的李唐王朝順手接收。
再加上李淵與楊廣的母親都是獨孤氏，還是親姐妹，獨孤皇后曾對外甥李淵頗爲照拂；李淵建立的唐朝至少在名義上是從隋恭帝手上禪讓過來的，結果李淵就這樣將他表弟遺忘在長安的女兒丟給了自己的兒子做妾。李淵若還算看重這位與自己多少有點血緣關係的前朝公主的話，怎麼說也要將其嫁做正妻而不是小妾——無論是嫁給皇子還是大臣。
而且就算是做妾，也該塞給太子李建成，而不是塞給秦王李世民。畢竟人家李建成好歹在武德九年前還是太子的身份，若無意外的話，恪母作爲李建成的小妾，等太子登基後怎麼說也能混個五品以上的嬪妃噹噹，而給親王做妾，最多隻是個五品的孺人。就像漢獻帝也是個傀儡皇帝，但直到禪位後降爲了山陽公，他這纔將兩個女兒送去做小妾，而且是直接送給當皇帝的曹丕，可沒送給什麼親王。
更何況根據楊廣死於義寧二年三月，李淵於同年五月登基爲帝，李恪卻在第二年就出生了的情況來看，恪母很明顯是在重孝期間懷的孕——別說是爲親生父親守滿27個月的孝了，竟然連一年的重孝都沒守滿，由此可見這位所謂的“隋煬帝女”在李唐王朝的眼中究竟是個什麼樣的存在了，更別說還能得到怎樣的禮遇。若恪母的身份還算尊貴，又怎會如此被人隨意地打發，甚至連爲父親守個孝的機會都沒有。
而恪母會被如此對待也是再正常不過的事，自古成王敗寇，亡國之君的地位都擺在那兒了，更別說亡國公主了。想想秦滅六國後，六國“妃嬪媵嬙，王子皇孫，辭樓下殿，輦來於秦”的悽慘模樣；想想陳朝滅亡後陳後主的幾個親妹妹分別被賞給楊素、賀若弼等人做妾，宣華夫人、弘政夫人被沒入了隋掖庭，還有幾個被賞給了朝中大臣和皇子；再想想宋徽宗的女兒柔福帝姬也是公主，在金朝過的卻是什麼日子，便可知這些亡國公主在新王朝眼裏不過是戰利品一樣的存在。
再看她在後宮中的封號，儘管史書上稱恪母爲楊妃，但這並不能證明恪母生前就位列四妃之位。像唐高祖李淵的小妾莫麗芳，生前沒有得到任何在後宮的名分，死後才被追封爲嬪，史書上卻直接記載其爲莫嬪；唐玄宗李隆基的小妾高氏，生前僅爲才人，死後才被追贈爲婕妤，史書則直接記錄爲高婕妤。可見即便史書上記載了妃嬪封號，也不能證明一定就是生前獲得的。
唐朝貞觀年間的四夫人封號以貴淑德賢爲序，韋貴妃的封號是非常明確的，楊淑妃即楊玄獎之女，陰德妃因爲兒子李佑謀反被殺後也遭到了連坐，德妃之位空了出來由燕賢妃晉封。還有一位鄭賢妃，也是在燕賢妃升爲德妃後隨之晉位的。可見恪母生前並非正一品的四妃，最多隻是個二品的九嬪，死後才被追封爲妃，提升了品級。
再者，還可以根據李恪與李愔在諸皇子中的地位來反推其生母在後宮的等級。貞觀十一年唐太宗想要給諸位親王與功臣們世襲都督或刺史的權利，在這次論封建的過程中，除了皇太子李承乾外，長孫皇后的另外兩子李泰在相州，李治在幷州，而韋貴妃之子李慎在秦州 ，陰德妃之子李佑在齊州，燕賢妃之子李貞在揚州，楊淑妃之子李福尚未封王所以當時並沒有封地，後宮王氏之子李惲在襄州。
雖然李慎三人的封地比不上嫡出的皇子李泰與李治，但至少身爲四妃之子，李慎三人的封地所在之地是同一個等級的。而李恪在安州，李愔在益州，考慮到李恪還是唐太宗的庶長子，比其他同樣庶出的皇子佔了名分的先機，但是李恪兄弟倆的封地論地理位置的重要性連李惲的襄州都比不上——安州與襄州同在湖北地區，歷史上這個地區素來以襄州爲重，唐朝也不例外，李孝恭平江南蕭銑時擔任的就是襄州總管（襄州道行臺左僕射）的官職。
益州就更不用說了，蜀地自古地勢天險，古時候交通又不發達，所謂“揚一益二”的說法還得等到中晚唐安史之亂以後。而且當年唐高祖李淵私下許諾唐太宗要改立他爲太子時就曾說過，要將李建成改封在蜀地，原因就是“地既僻小易制。若不能事汝，亦易取耳”——唐朝的京城長安對蜀地佔據了居高臨下的優勢，而蜀地的地勢即使再險峻，這天險卻是和關中共享的，由此足可見蜀地在唐初時候人們的心中是怎樣一種存在了。
李恪李愔的封地連李惲都比不上，更不能與李慎三人相提並論了。所以很明顯恪母不僅與四妃之位無緣，而且顯然恪母在貞觀十一年唐太宗論封建時還活着，所以連追封的妃位也沒有，否則至少看在追封的四妃之位上，恪母的兩個兒子不會連一個後宮位份不明，最多也只是個二品九嬪的王氏的兒子都比不過。
楊氏於武德二年生吳王李恪，武德九年之後生蜀王李愔——武德年間的皇子皇孫都是按例一歲時冊封，而武德八年時，李世民的兒子中只有第五子李祐受封，所以第六子李愔最早也是武德九年纔出生。楊氏沒有女兒，永徽四年李恪因爲謀反被賜死，胞弟李愔亦遭連坐廢爲庶人，但沒有其他公主受到李恪的連累——唐律只要是和謀反案的罪犯有親屬關係，就算是女性也會受到處罰，像漢王李元昌謀反後，他的生母漢國太妃與妻子漢王妃也遭到了連坐，所以可知楊氏並沒有女兒。
而楊氏的兩子吳王李恪與蜀王李愔，雖然一直以來由於電視劇的宣傳，很多人誤以爲李恪是唐太宗最喜歡的兒子，但就史實而言，論起唐太宗所有兒子中誰的待遇最差，李恪稱第二，沒人能比他更差。真相究竟如何，我們不妨一起來看一看史書是如何記載的。
首先根據史書的記載，李恪最遲貞觀7年便去了封地，而與李恪同齡的李泰不僅不“之國”，唐太宗甚至還想過讓其“入居武德殿”，最後還是被魏徵力諫勸止。李治更是自長孫皇后去世後就一直由唐太宗親自撫養，甚至在被封爲太子後，仍讓唐太宗不惜公然違反禮制也要繼續留在身邊，這便導致了褚遂良劉洎等人分別在貞觀18年、20年相繼上疏懇請皇帝不要留太子在身邊一味溺愛，放其回東宮。
其次貞觀7年李恪赴任齊州都督時，唐太宗對李恪說：“父子之情，豈不欲常相見耶？但家國事殊，須出作藩屏。”可見讓諸王之藩是因爲“家國事殊”，更是爲了絕諸皇子的“覬覦之心”。但這一番冠冕堂皇的話，實際上更適合身爲太子同母弟的李泰、李治而不是庶出的李恪，畢竟作爲太子同母弟，李泰對儲位的威脅纔是最大的。然而唐太宗在“家國事殊”面前卻出於私心，不僅不讓李泰之藩，甚至還想讓他搬進武德殿居住；李治就更不用說了，唐太宗一直將這個兒子親自帶在身邊撫養，絕口不提之藩的事，貞觀16年甚至乾脆直接讓他上朝參政了，卻偏偏將沒什麼威脅的李恪打發到封地上去。
再者貞觀12年唐太宗給李恪寫的這封信，若只注意到“汝方違膝下，悽戀何已，欲遺汝珍玩，恐益驕奢”這麼一句，自然會覺得其間是飽含了父子之情，然而此信的題目卻是《誡吳王恪書》。誡者，告誡、警告之意，齊王李祐在封地上屢屢犯錯時，唐太宗也曾寫信“誥誡之”。所以這封信也不是什麼訴說離別後的思念之情的，而是唐太宗寫信來警告李恪要老老實實地待在自己的封地，不要再胡作非爲了。
而且就在唐太對李恪說“欲遺汝珍玩，恐益驕奢”——以避免李恪變得驕奢爲藉口而不肯多給他財物，結果在面對李承乾與李泰時，唐太宗卻又是截然相反的態度。唐太宗賞賜李泰時不僅“賜泰物萬段”，每個月給李泰的東西甚至“有逾於皇太子”，對李承乾更是乾脆直接取消了他出用庫物的限制。
至於唐太宗會如何在書信中表達自己的愛子之情，不妨看一看唐太宗出征高句麗時給李治寫的一封信，簡直堪稱是小肉麻。但是比起對李恪的諄諄告誡之意，或許唐太宗給李治的這封信才更似尋常間的父子之情吧。
《兩度帖》原文：
兩度得大內書，不見奴表，耶耶忌欲恆死，少時間忽得奴手書，報娘子患，憂惶一時頓解，欲似死而更生，今日已後，但頭風發，信便即報。耶耶若少有疾患，即一一具報。今得遼東消息，錄狀送，憶奴欲死，不知何計使還，具。耶耶，敕。
譯文：
兩次收到大內送來的文書，卻還不見稚奴你的書信。爸爸我擔心的要死。剛纔忽然得到稚奴你的親筆手書，說娘子生病了，我的擔心害怕頓時消失了，就好像死而復生一樣。從今以後，只要你的頭風病發作，就立刻寫信告訴我。爸爸我如果生病，也會一一寫信告訴你。今天得到遼東（戰場）消息，抄錄一份給你。想稚奴你想得要死，不知道什麼時候才能回去，要說的就這些。爸爸，敕。
最後，便是爲很多人所津津樂道的唐太宗欲立吳王李恪爲太子這件事了，甚至有人聲稱，如果唐太宗不喜歡李恪的話又怎麼會要立他爲太子？那麼我們不妨來看一看，唐太宗爲什麼會突然想到要改立李恪爲太子。
貞觀17年，唐太宗立了李治後過了大半年的時間，又覺得這個小兒子只有十五歲，一直養在自己的身邊沒有經過什麼歷練，作爲帝國未來的繼承人還不夠強大有力，擔憂他無法很好地駕馭朝政，畢竟“國賴長君”。於是唐太宗便想到了換儲一事，而當時的李恪可以說是唯一適合的人選，因爲看看除了李恪之外的其他幾位皇子：
第二子李寬，早夭
第四子李泰，奪嫡被貶
第五子李佑，貞觀十七年謀反被誅
第六子李愔，被唐太宗痛罵爲禽獸不如
第七子李惲，好斂財，被有司彈劾
第八子李貞，僅比李治大一歲
第十子李慎，年紀比李治還要小
下面更加年幼的李囂、李簡、李福等人不是早夭，就是年紀太小。在這樣的情況下，除了比李治大了近9歲的李恪，唐太宗還有別的選擇嗎？
唐太宗欲立李恪歸根究底就是因爲除了李恪外，別的年長一些的皇子不是因爲奪嫡被貶、被殺，就是實在是扶不起的阿斗，李恪儘管也曾因爲踩莊稼和賭博這些小事被連續貶官和削戶過多次，但除了李恪外，唐太宗已經別無選擇。
不過很顯然，唐太宗欲立李恪這個想法並沒有經過深思熟慮，而是一時衝動下的心血來潮之念。因爲如果唐太宗真的考慮清楚了要改立李恪，或者是吃了秤砣鐵了心要換儲了，那麼長孫無忌是絕對沒有“密爭之”的機會的，更不可能只憑他一家之言便一錘定音。畢竟這天下是姓李的，不是姓長孫的。貞觀十七年時的長孫無忌雖然位極正一品的司徒，但就唐朝的政府系統而言，司徒位高卻只是個虛職。在根本沒有實權的情況下，長孫無忌又如何把持得了朝政？此時的魏徵固然已死，但房玄齡李靖這些大臣仍然健在，唐太宗也正值壯年手握兵權，怎麼可能任由一個既無實權又無兵權的長孫無忌操縱朝政？
何況廢立太子是國家大事不是兒戲，唐太宗若是下定了決心要換太子，肯定會把這件事拿到朝上廷議，再不濟也要找幾個心腹大臣一起來商量商量，就像當初要立李治一樣，“與長孫無忌、房玄齡、李績等計議”，而不會只跟最不可能贊同的長孫無忌一個人商量，甚至被長孫無忌反駁後就此立刻作罷。
而從正史中對改立李恪這件事一筆帶過的記敘來看，很明顯唐太宗只是一時心血來潮，突然間有了這麼一個想法，然後對長孫無忌露了個口風，長孫無忌反對，唐太宗想明白了自然也就徹底打消這個念頭了。更不要說什麼長孫無忌反對立李恪是因爲他不是自己的外甥，事實上真正介意李恪不是嫡子的並不是長孫無忌，而是唐太宗本人。畢竟一旦改立庶子出身的李恪，李承乾、李泰、李治這三個嫡子的未來就很難有所保證了，這一點唐太宗顯然比長孫無忌更爲擔心，因爲當初唐太宗立李治的目的就是爲了可以保全李承乾、李泰、李治這三個心愛的兒子：
“泰立，承乾、晉王皆不存；晉王立，泰共承乾可無恙也。”（《舊唐書·太宗諸子列傳》）
唐太宗改立太子時，一直都是在嫡出的李泰與李治之間搖擺不定，決定立李治也是因爲李治性情仁厚，就是做了皇帝也不會對自己的兩個親兄弟不利。而在這期間，唐太宗自始至終都沒有想到過還有庶出但年長的李恪可以考慮，李恪在唐太宗的心中地位究竟如何可見一斑了。因爲李恪若是在唐太宗的心中還算是有些分量的話，唐太宗在改立太子的時候絕對會首先想到他，而不是等到一切都塵埃落定後又過了大半年的時間，才發現原來還有這麼一個庶長子可以考慮，而且還只是曇花一現的想法。
至於說什麼李恪遠離京城和朝中大臣沒有交情，自然不會有人願意保舉他做太子。事實上朝中大臣的意願怎樣並不重要，關鍵仍在於唐太宗自己的態度如何。看看李治就能知道，李治這個太子可謂是唐太宗一手扶持上去的。爲了冊立李治，唐太宗甚至不惜拔劍欲在大臣面前自盡；在正式立了李治爲太子後，唐太宗又傾力打造了一個強大可靠的東宮班底以輔佐太子。
“己丑，加司徒、趙國公長孫無忌太子太師，司空、梁國公房玄齡太子太傅；特進、宋國公蕭瑀太子太保，兵部尚書、英國公李績爲太子詹事，仍同中書門下三品。”（《舊唐書·太宗本紀》）
“又以左衛大將軍李大亮領右衛率，前詹事于志寧、中書侍郎馬周爲左庶子，吏部侍郎蘇勖、中書舍人高季輔爲右庶子，刑部侍郎張行成爲少詹事，諫議大夫褚遂良爲賓客。”（《資治通鑑》）
同時，唐太宗知道李治一直久居深宮缺少歷練，便開始加強對他處理政務能力的培養，時常把他帶在自己的身邊言傳身教。
“太宗每視朝，常令在側，觀決庶政，或令參議，太宗數稱善。”（《舊唐書·高宗本紀》）
“貞觀十八年，太宗謂侍臣曰：‘古有胎教世子，朕則不暇。但近自建立太子，遇物必有誨諭。’”（《貞觀政要》）
所以唐太宗若真的有意改立李恪爲太子的話，完全可以把改立李治時的舉動照搬過來，而不只是口頭上提那麼一提，被否決後既不見有過失落後悔的時候，更不曾見對李恪這個改立未果的兒子有什麼內疚之情，甚至欲立李恪未果後沒過兩天，唐太宗就因爲李治長子李忠的出生而舉行了盛大的筵席，不僅在宴會上高興地“酒酣起舞”“盡日而罷”，還一反皇孫只能封郡王的制度，破例將李忠冊封爲了親王——完全將李恪的事情拋之腦後。反觀劉邦欲立趙王如意失敗後，爲戚姬母子的未來安全得不到保障愁得長吁短嘆，甚至“心不樂，悲歌”，不僅特意讓周昌去做如意的相國，而且一聽說樊噲要在自己百年之後誅殺戚姬母子，當即下令要陳平等人去殺了樊噲。
而同樣提名未果的李恪不僅沒有得到唐太宗的任何保護措施，反而被唐太宗嚴厲地告誡了一通：“你若是不遵紀守法，西漢的燕王劉旦就是你的下場，就算你是我兒子我也救不了你！”雖然有人認爲這是唐太宗在“保護”李恪，要他小心謹慎一些，但李恪作爲親王，他的性命並不掌握在自己手裏而是掌握在皇帝手裏，光是告誡李恪自己謹言慎行是沒有用的，只有讓未來的皇帝李治知道要善待李恪才能達到保護李恪的目的。
也正因爲明白這樣的道理，漢高祖劉邦在改立劉如意失敗後，特意留了封手詔給太子劉盈，告訴他一定要照顧好如意這個弟弟；晉文帝司馬昭病重時用陳思王曹植的例子來告誡太子司馬炎，讓他日後不要爲難自己的弟弟司馬攸；太后王元姬直到臨終也不忘含淚叮囑長子司馬炎，要他記住自己的囑託，千萬不可對司馬攸不利；唐太宗也反覆強調過立李治就是爲了讓李承乾、李泰、李治這三個兒子能夠同時活着。
而唐太宗既然能想到要爲李承乾、李泰、李治的日後安危做打算，又爲什麼沒爲李恪日後的安危做出同樣的安排呢？李恪若是能在唐太宗的心中稍微有點分量，都不至於遭此待遇。
至於李恪不能當上皇帝是因爲具有前朝血統的說法更是無稽之談，李恪的兩朝血統並不是什麼前無古人後無來者之事，早在南北朝時就有許多兩朝一脈的皇位繼承人，比如後趙石虎的太子石世，生母就是前趙的安定公主；比如北周閔帝宇文覺的生母就是北魏馮翊公主。就連隋煬帝楊廣的太子楊昭也是兩朝一脈——楊昭的生母蕭皇后，即西梁孝明帝蕭巋的女兒。
再說如果前朝血統真的是問題，是忌諱，那唐太宗爲何在明知李恪具有隋朝血統的情況下，還想立其爲太子？長孫無忌又爲什麼不用這麼好的理由來反對唐太宗立李恪呢？就像唐玄宗欲立武惠妃爲後，大臣首先就用武家與李唐皇室有仇爲由勸阻唐玄宗，而李恪這裏卻壓根沒人提及所謂的前朝血統這一點。所以李恪與儲位無緣，和他的生母楊妃是隋煬帝的女兒根本沒有任何的關係，而是因爲李恪與楊妃均不得寵於唐太宗的緣故。
還有人因爲唐太宗欲改立李恪便認爲李恪是大唐的一代賢王，然而通觀李恪的生平，實在看不出他有什麼文功武治的政績。《舊唐書》中對李承乾的治國才能好歹還有一句“太宗居諒暗，庶政皆令聽斷，頗識大體”的介紹，對李泰至少還能知道他“少善屬文”，也的確編修了一部《括地誌》，其他庶出的皇子中，也有因爲處理地方政務出色而被當地百姓稱讚的。
然而關於李恪卻只知其有文武才，相當籠統的一句讚美之詞，至於具體有什麼雄才偉略的事蹟可以展現其賢能的，史書中便再無一字了。就連李恪的“善騎射”也不過是身爲關隴軍事貴族最基本的素養而已，在唐朝這個連後宮才人都能陪帝王騎射的朝代裏，李恪的“善騎射”卻根本沒有絲毫的軍功或突出的事蹟可以證明。
李恪所謂的文才更是如此，就連李唐皇室成員中最常見的書法特長都毫無記載，而同樣因謀反被誅的漢王李元昌，卻能夠以書法、繪畫、射獵著稱於各部史書。
《冊府元龜》：“唐漢王元昌，高帝子，性警悟，有勇力，工騎射，頗涉文史，兼能隸書。”
《唐朝名畫錄》：“漢王元昌善畫馬，筆蹤妙絕，後無人見。畫鷹鶻、雉兔見在人間，佳手降嘆矣。”
《法書要錄》：“漢王童年，自得書意。夙承羲、獻，守法不二。”
《歷代名畫記》：“天人之姿，博綜伎藝，頗得風韻。自然超舉，碣館深崇，遺蹟罕見。在上品二閻之上。”
一位專研經典名著，擅長音樂，繪畫精妙，射獵如神的多才多藝的俊美皇子便栩栩如生地在後人心目挺拔起來，相比之下，李恪的才華無論是在史書還是墓誌銘上，都沒有分毫體現。
別說什麼李恪無纔是因爲勝利者篡改了史書，想想李元昌也是失敗者，曹植、司馬攸等等都是失敗者，爲什麼別的失敗者都能有才華橫溢的史實流傳後世，李恪卻徒有史官的溢美之詞而再無具體事蹟可言？所以這與勝利者的史書無關，而是史官可以出於對武則天稱帝的痛恨以及對李恪本人遭遇的同情而溢美一下李恪，但仍無法掩蓋李恪沒有真材實料的史實。
所以若只因爲唐太宗的一句“英果類己”，便斷定了李恪之賢，也着實武斷了些。畢竟唐太宗只是覺得李治性格仁厚溫和，並沒有說他不如李恪賢能，又怎能由此草率地推斷出李恪便是大唐衆望所歸的賢王呢？
至於《舊唐書》中所說的“名望素高，甚爲物情所向”，要知道李恪作爲唐太宗的庶長子，雖然能力十分平庸，之藩後還經常因爲一點小錯被唐太宗責罰、貶官，但光這個輩分就遠非其他庶出皇子可以比擬。
畢竟皇帝的庶長子這個頭銜分量有多重，看看唐高祖李淵的庶長子荊王李元景(李智雲早夭，李元景即實際意義上的庶長子)就知道了。想想唐太宗登基時李元景才幾歲，對大唐更沒有任何功勞可言，卻是小小年紀身兼數職，又是雍州牧又是右驍衛大將軍，就是因爲唐高祖的庶長子、宗室頭號親王的頭銜太過扎眼，唐太宗必須予以一定的安撫。
也正因爲如此，唐高宗登基後，又進一步加封了荊王李元景、吳王李恪這兩個宗室排前兩號的人物分別爲司徒與司空，雖然三公的頭銜不過是個虛職，但也象徵了唐高宗對宗室的安撫。
同樣的，永徽四年高陽公主等人謀反時爲什麼要推舉荊王李元景上臺，不就是因爲他這個唐高祖庶長子的身份是宗室之首，佔了名分的先機。不然按照遠近親疏甚至才望來看，韓王李元嘉的王妃是高陽公主的駙馬房遺愛的嫡親姐妹，而且在宗室中更是才名遠播比李元景好多了。高陽公主卻壓根沒搭理跟自己關係同樣親近且有着賢王之名的李元嘉，而是直接推了宗室之首的李元景上臺，庶長子的名分有多重要，也由此可見一斑。
所以李恪頂着唐太宗庶長子這個名分，史官在找不到其他任何真才實幹或豐功偉績可吹捧的情況下，只能乾巴巴地評價一句“名望素高，甚爲物情所向”也實屬尋常。
而李恪被冤殺後史書中又言“以絕衆望，海內冤之”，看似評價很高，然而想想唐玄宗時臭名昭著的奸臣李林甫被楊國忠構陷後，史官也用了“天下以爲冤”這類詞。可見所謂的“以絕衆望，海內冤之”不過是史官的慣用語罷了，實際水分大得很。
何況當時的唐人並不覺得李恪是冤枉，睦州刺史夏侯絢的墓誌在提及永徽四年的謀反案時就明確寫道“荊吳構逆”，認爲荊王李元景與吳王李恪都是大逆不道的謀反，這樣的態度與史官所說的“海內冤之”完全截然相反。而且值得一提的是夏侯絢的身份，夏侯絢曾是蜀王李愔的長史，而李愔不是別人，正是李恪的同母弟弟，李恪謀反被殺後，李愔也因此被廢爲庶人。所以按照夏侯絢這樣的身份，在提及頂頭上司的胞兄被誣陷謀反時理應是爲之喊冤，而不是直言他就是“構逆”。連原本最該爲李恪喊冤的人都認爲李恪就是謀反，當時能有多少人認爲李恪是冤枉的可想而知。
事實上李恪在大唐王朝就是一個普通的皇子，只不過是近年來的一些電視劇與小說將歷史篡改戲說得太厲害了，以至於誤導了很大一部分觀衆，認爲李恪是唐太宗最心愛的兒子唐朝最賢明的皇子。但凡願意認真讀一讀正史的，看看史書上所記載的唐太宗是如何寵愛他的三個嫡子的，就可以知道真正的唐太宗愛子應該是什麼樣子。
相比三位嫡子數不勝數的得寵事蹟，僅憑唐太宗心血來潮之下的“欲立吳王恪”，以及立儲這種環境下的一句“類己”（在立太子這種情況下，不說“類己”難道要說這個兒子“不類己”？），便要妄圖證明李恪的受寵，顯然是不成立的。何況《舊唐書》中是“太宗常稱其類己”，《唐會要》記載爲“太宗嘗稱其類己”，可見這裏的常是通假字，通嘗，意思是唐太宗曾經說過李恪類己，而不是經常說李恪類己——如果唐太宗經常說李恪類己卻又不給他任何保護措施，那麼此舉無疑是將李恪推上火架烤，根本不是在愛李恪而是在害李恪。
特別是貞觀2年李恪與李泰同時受封，卻明顯受到了不同的待遇。李恪受封益州都督，封地只有8州，李泰卻不僅是揚州大都督兼越州都督，封地更是多達22州！
且先不說單就數量而言，李泰的封地幾乎是李恪的兩倍。而李恪的封地益州，也就是今天四川一帶，在唐朝時可絕對不是什麼香餑餑，“揚一益二”的說法還得等到安史之亂以後。蜀地自古地勢天險，古時候交通又不發達，想想當初唐高祖李淵私下許諾唐太宗要改立他爲太子時就曾說過，要將李建成改封在蜀地，原因就是“地既僻小易制。若不能事汝，亦易取耳”。可見蜀地在唐初時候人們的心中是怎樣一種存在了。而揚州的富庶則不必多言，更何況封地裏還包括了蘇杭一帶。
更不用說李恪受封的不過是益州都督，而不是和李泰一樣都是大都督。根據《唐會要》的記載，益州的大都督府於“貞觀二年二月二十日，去‘大’字”，直到唐高宗龍朔2年才由都督府升級爲大都督府——就在李恪受封前三個月，唐太宗就將益州由大都督降級爲了都督。所以貞觀二年五月李恪與李泰雖然同時受封，但是李恪只被封爲了益州都督，不僅都督府的規模遠不及李泰的大都督府，封地更是比李泰少了近三分之二。
後來李恪在貞觀11年的時候，不過是因爲打獵時踩壞了莊稼，就由安州都督降職爲安州刺史，還被削戶300（當時親王實封只有800戶）。看上去封地還是在一個地方，但實際上所管轄的地方卻大大減少了，因爲作爲都督時，李恪可以“督安、隋、溫、沔、復五州”軍事，然而作爲刺史就只能管轄安州這一州之地。後來李恪又因爲和乳母的兒子賭博，再次被罷官削戶，自此一直到貞觀23年共12年的時間裏，李恪再也沒有官復原職過。這樣的待遇除了李恪，也就只有他那個被唐太宗斥爲“不如禽獸鐵石”的胞弟李愔同樣享有了，而其他犯過遠比踩莊稼更嚴重錯誤的皇子們，也從來沒有遭受過如此嚴厲的懲罰。
唐太宗雖然貴爲一國之君，但在面對自己的愛子時，仍舊只能如同普通人一般，尋常人家是怎麼疼愛兒子的，唐太宗就是怎麼做的。
所以李承乾就算犯下了謀逆這等殺頭大罪，唐太宗也要想方設法保住他的性命；所以李泰奪嫡失敗後，唐太宗仍舊說他是“朕之愛子，實所鍾心”，甚至被貶後不到四年的時間就又重新晉封爲濮王；所以李治雖然一直和唐太宗住在一起，褚遂良、劉洎爲了這事上諫過多少次，也沒見唐太宗以“家國事殊”爲理由，把李治打發出宮去住。
唐太宗對李承乾、李泰、李治這些愛子們寵溺至極，以至於一次又一次招來了魏徵這些朝臣的上疏與進諫，偏偏對李恪這些兒子該罰的罰，該殺的殺，一個都沒手軟。就這樣，還能說李恪是唐太宗的“愛子”嗎？
至於楊妃的次子李愔，是唐太宗14個兒子中封王最遲的一位，貞觀5年才被封爲梁王，且貞觀13年纔得到了親王應有的800戶食邑，比其他皇子整整遲了3年。
又因爲李愔在封地上屢屢胡作非爲，唐太宗曾十分厭惡地說：“就算是禽獸，只要好好馴服還能讓其聽命於人；就算是鐵石，只要好好煉製也能做成可用之物，只有像李愔這樣的人，連禽獸和鐵石都不如！”當即便削去了李愔一半的封地食邑和蜀王府中的官員，又將他貶爲虢州刺史，剛剛上任沒幾個月的蜀王師蓋文達也因此被免官。
所以唐太宗貞觀年間別的皇子官位都很正常，唯獨李恪、李愔兩人被貶爲了刺史；別的皇子都是實封800戶，唯獨李恪與李愔一個被削戶600一個被削戶400。兄弟倆待遇一個倒數第一，一個倒數第二，他們的生母楊妃在唐太宗心中與後宮中的地位有多低可想而知。
別看楊妃在電視劇裏風光一時，被現代人各種YY，歷史上真正的楊妃自幼不得隋煬帝的關心疼愛，長大後因爲隋朝滅亡被送進秦王府當妾後，也得不到唐太宗的喜歡，就連兩個兒子的待遇都一個比一個差。
更可悲的是，儘管有些網友出於心疼楊妃的緣故希望她早逝，這樣楊妃既不用面對生前與四妃之位無緣的尷尬境地，也不用親眼目睹兒子被唐太宗各種責罵責罰的悽慘遭遇了。但遺憾的是，綜合各處史料而言，楊妃死於貞觀十一年之前的可能性微乎其微，否則憑藉追封的四妃之位，李恪李愔兩兄弟也不會在貞觀十一年論封建時分到的地方連蔣王李惲都比不過了。