昌邑王劉賀當了皇帝后，荒淫無度。昌邑國原來的官吏全被徵召到長安，有的被破格提拔任用，昌邑國相安樂就被任命爲長樂衛尉。龔遂見到安樂，哭着對他說：“大王被立爲天子之後，日益驕縱，勸他也不聽。如今仍在先帝居喪期間，他卻每天與近臣飲酒作樂，觀看虎豹搏鬥，還坐着掛着天子旌旗的虎皮車東奔西跑，違天背道。古代制度寬大，大臣可以辭職隱退，如今我卻想走走不了，想裝瘋賣傻又怕被人識破，死後還要遭人唾罵。你教教我，該怎麼辦？您是陛下原來的國相，應當極力勸勸皇上纔是！”
劉賀夢見一大堆糞便堆在殿堂西階的東側，有五六石，綠頭蒼蠅嗡嗡叫，附在上面，糞便上還蓋着大片的屋瓦。劉賀問龔遂這是什麼徵兆，龔遂說：“陛下讀的《詩》中不是有這樣的話嗎？‘營營青蠅，止於藩。愷悌君子，毋信讒言。’綠頭蒼蠅飛來飛去落在籬笆上，謙謙君子不要相信讒言。陛下身邊奸佞小人很多，就像那些討厭的蒼蠅。陛下應該選拔先帝時的大臣的子孫，讓他們成爲陛下親近的大臣或侍從。如果不忍拋開昌邑國的故舊，信任並重用那些讒諛之人，必有災禍。希望陛下能變禍爲福，將這些人全部逐出朝廷。我應當第一個走！”劉賀不聽。
“營營青蠅，止於藩。愷悌君子，毋信讒言”出自於詩經《青蠅》中，全文是：“營營青蠅，止於樊；愷悌君子，無信讒言。營營青蠅，止於棘；讒人罔極，交亂四國。營營青蠅，止於榛。讒人罔極，構我二人。”
太僕丞、河東人張敞上書勸諫：“孝昭皇帝早逝，沒有後嗣，大臣們憂慮惶恐，所以選擇賢明的人承繼帝位。朝廷到東方迎接陛下時，唯恐慢了。如今陛下以盛年初即帝位，天下無不拭目傾耳，看陛下怎麼做。然而，輔國的重臣沒有得到褒獎，而昌邑國拉車的小吏卻先獲得升遷，這真是最大的錯誤。”劉賀仍然不聽。
大將軍霍光對此憂心忡忡，便和親信的舊部、大司農田延年商量對策，田延年說：“大將軍身爲國家柱石，既然認爲此人不行，何不稟告太后，改立賢明的人呢？”霍光說：“我也正想這麼做，不知古代是否有人這樣做過？”田延年說：“伊尹做商朝的相時，爲了宗廟社稷將太甲廢黜，後人稱頌他忠心爲國。將軍如果真能這麼做，你也是漢朝的伊尹。”於是霍光任命田延年兼任給事中，與車騎將軍張安世祕密謀劃廢黜劉賀。
劉賀外出巡遊，光祿大夫、魯國人夏侯勝擋在車駕前勸諫：“天久陰不雨，預示着臣下有不利於陛下的陰謀。陛下出宮，要去哪裏？”劉賀大怒，說夏侯勝口出妖言，命人將他捆起來交官吏治罪。負責處理此事的官吏向霍光作了報告，霍光下令把夏侯勝先關起來。霍光責問張安世，是不是他泄漏了計劃，張安世說確實不是他。於是霍光召夏侯勝前來訊問，夏侯勝說：“《鴻範》上說：‘皇之不極，厥罰常陰，時則有下人伐上者。’君王有過失，上天要懲罰他，天氣陰沉，此時就會有臣下謀害君上。我不敢明言，只好說臣下有不利於皇上的陰謀。”霍光、張安世聞言大驚，因此更加重視精通經書的儒士。侍中傅嘉多次向劉賀進諫，也被綁起來關進了監獄。
《洪範》是《尚書》篇名，漢儒收集各地先條秦著作匯篇。舊傳爲箕子向周武王陳述的“天地之大法”，今人或認爲系春秋戰國後期或兩漢儒者所作。疑古派曾推定《尚書》爲漢代作品，也有認爲洪範原是商代貴族政權總結出來的統治經驗。“洪”的意思是“大”，“範”的意思是“法”，“洪範”即統治大法。
霍光、張安世計劃已定，就讓田延年通報丞相楊敞。楊敞大驚，不知道該說什麼，該怎麼辦，嚇得汗流浹背，只是唯唯而已，大概就是噢、噢、噢之類。田延年起身去上廁所，楊敞的夫人急忙從東廂房跑進來對楊敞說：“這樣的國家大事，大將軍已經計議已定，讓大司農來通報你，你沒有立即答應表示與大將軍一條心，卻猶豫不決，禍事要來了！”田延年從廁所回來，楊敞的夫人和楊敞向田延年表示一切聽從大將軍安排。
六月二十八日，霍光召集丞相、御史、將軍、列侯、中二千石、大夫、博士在未央宮開會。霍光說：“昌邑王行爲昏亂，恐怕會危害社稷，該怎麼辦？”羣臣大驚失色，誰也不敢發言，也只是唯唯而已。田延年起身離開自己的席位，走到羣臣前面，手按劍柄，說道：“先帝將幼弧和國家大事託付大將軍，是因爲大將軍忠義賢明，能夠保全劉氏的江山。如今朝廷混亂，國家將危，況且大漢歷代皇帝都諡爲‘孝’，爲的就是宗廟祭祀不絕，江山永存。如果漢家祭祀斷絕，將軍如果死了，又有何面目見先帝於地下呢？今天的會議，不得磨磨蹭蹭，最後響應的，我將用劍斬了他！”霍光自責道：“大司農責備得對！天下不安，我當受處罰。”於是參加會議的人都叩頭說：“萬民之命，都掌握在將軍手中，一切聽從大將軍的命令！”
霍光隨即與羣臣一同晉見太后，向太后稟告了劉賀不能承繼皇位的情況。皇太后乘車前往來到未央宮承明殿，詔命皇宮各門不許昌邑國羣臣入內。劉賀朝見太后乘車返回溫室殿，中黃門的宦官便將門關閉，不讓昌邑國羣臣進去。劉賀問：“這是幹什麼？”大將軍霍光跪地回答：“皇太后有詔，不許昌邑國羣臣入宮。”劉賀說：“慢慢說就是了，何必搞得如此嚇人！”霍光命人將昌邑國羣臣全部驅趕到金馬門之外。車騎將軍張安世率領羽林軍將被趕出來的昌邑國羣臣二百餘人逮捕，全部押送廷尉所屬的詔獄。霍光命曾在漢昭帝時擔任過侍中的宦官守護劉賀，並命令：“嚴加看管！如果他突然死了或自殺，就會讓我對不起天下人，背上殺主的惡名。”此時劉賀還不知道自己即將被廢黜，問左右：“我以前的羣臣、侍從犯了什麼罪，大將軍將他們全關起來了？”
皇太后下詔召劉賀入見。劉賀聽說太后召見，心裏很害怕，說：“我犯了什麼錯？太后爲什麼召我？”太后身穿用珠子綴串成的短衣，盛裝坐在武帳中，數百名侍衛手持兵器，與持戟的期門武士排列於殿下。羣臣依次上殿，然後召昌邑王上前伏地聽詔。霍光與羣臣連名彈劾昌邑王，由尚書令宣讀奏章：“丞相楊敞等冒死上奏皇太后陛下：孝昭皇帝過早駕崩，朝廷派使臣徵召昌邑王前來主持喪禮，而昌邑王穿着喪服卻無悲哀之心，廢棄禮義，在來長安的路上不喫素，還派隨從擄掠女子藏在車裏，在驛站陪宿。來到長安謁見皇太后之後，被立爲皇太子，還經常私下派人買雞、買豬肉喫。接受了皇帝的印璽後，回到住處，打開印璽後就不封存起來。派侍從手持皇帝符節徵召昌邑國的侍從官、車馬官、奴僕等二百餘人，與他們一起在宮禁之內遊戲娛樂。給侍中君卿寫信說：‘皇帝問候侍中君卿：特派中御府令高昌攜帶黃金千斤，賜君卿娶十個妻子。’孝昭皇帝的靈柩還停在前殿，竟搬來樂器，讓昌邑國樂人擊鼓、歌唱、歡彈、演戲；又調來泰一祭壇和宗廟的樂人，遍奏各種樂曲。駕着天子車駕在北宮、桂宮等處奔馳，玩豬、鬥虎。擅自調用皇太后乘坐的小馬車，命官奴騎乘，在後宮中游戲。與孝昭皇帝的叫蒙的宮女等淫亂，還命令掖庭令：‘有敢泄漏者，腰斬！’……”太后說：“停！爲人臣子，該如此悖亂嗎？！”劉賀離席伏地請罪。尚書令繼續讀：“把朝廷本來應當賜予諸侯王、列侯、二千石官員的綬帶以及黑色、黃色綬帶，賞給昌邑國郎官，以及被免除奴僕身份的人。將皇室倉庫中的金錢、刀劍、玉器、彩色絲織品等賞給和他一起遊戲的人。與侍從官、奴僕徹夜狂飲，沉迷酒色。在溫室殿設九賓大禮，接見他的姐夫昌邑關內侯。尚未舉行祭祀宗廟的大禮，就頒發詔書，派使者攜帶皇帝符節，以三牛、三羊、三豬的三太牢祭祀大禮前往祭祀其父昌邑哀王的陵廟，還自稱‘嗣子皇帝’。即位二十七天，就向全國派出使者，持皇帝符節，詔令各官署爲其辦理各種事務一千一百二十七次。荒淫昏亂，失帝王禮義，壞大漢制度。楊敞等多次進諫，沒有一點改變，卻日甚一日。這樣下去，將危害社稷，天下不安。我們與博士官商議，一致認爲：‘當今陛下繼承孝昭皇帝之位，行爲淫邪不軌。古語云，五辟之屬，莫大不孝。五刑之罪當中，以不孝爲最大。昔日周襄王不孝順母親，《春秋》說‘天王出居鄭’。因爲不孝，所以只好住到鄭國，自絕於天下。宗廟重於君。陛下既然不能承受天命，侍奉宗廟，愛民如子，應當廢黜！’因此，臣等請求太后詔令用一牛、一羊、一豬的太牢祭祀大禮，祭告於高祖皇帝的祭廟。”皇太后下詔：“準。”於是霍光命劉賀站起來，拜受皇太后詔書。劉賀說道：“我聽說：‘天子有爭臣七人，雖亡道不失天下。’天子身邊只要有七位耿直敢言的大臣，既使行無道，也不會失去天下。”霍光說：“皇太后已經下詔將你廢黜，豈能自稱天子！”隨即抓住劉賀的手，將他身上佩戴的玉璽綬帶解下，獻給皇太后，然後扶着劉賀下殿，從金馬門走出皇宮，羣臣跟隨後相送。劉賀出宮後，面向西方叩拜：“我太愚蠢，不能擔當漢家大事！”然後起身，登上御駕的副車，大將軍霍光將其送到昌邑王官邸。霍光說：“大王的行爲是自絕於上天，我寧願對不起大王，不敢對不起社稷！希望大王自愛，我不能再侍奉於大王的左右了。”說完灑淚而去。
羣臣上奏太后：“古時被廢黜之人，要放逐到遠方，使其不能再參與政事。請將昌邑王劉賀流放到漢中房陵縣。”太后詔命劉賀回昌邑居住，賜給他二千戶人家作爲湯沐邑，他當昌邑王時的家財也全部發還給他，其姐妹四人，各賜一千戶人家作爲湯沐邑；撤銷昌邑國，改爲山陽郡。
原昌邑國羣臣因爲在封國時不能向朝廷舉報劉賀的罪狀，使朝廷不瞭解真實情況，又不能輔佐、引導劉賀，致使其陷於大惡，一律逮捕下獄，誅殺了二百餘人，只有中尉王吉、郎中令龔遂因忠正直諫，被免除死罪，削髮爲城旦。劉賀的老師王式也罪當處死，審案官員責問王式：“你作爲昌邑王的老師，爲什麼沒有進諫規勸？”王式回答說：“我每天早晚都爲昌邑王講授《詩》三百零五篇，有關忠臣、孝子的內容，還爲其反覆誦讀、講解；關於無道之君使國家危亡的道理，我也曾流淚爲他詳細陳說。我是用《詩》三百零五篇來進諫，所以沒有專門諫書。”審案官員將王式這番話奏聞朝廷，所以王式也被免除死罪。
霍光因爲國家大事都由羣臣上奏於東宮，由太后省察決定，認爲太后應通曉儒家經書，於是稟明太后，命夏侯勝爲太后講授《尚書》，並調夏侯勝擔任長信少府，賜爵關內侯。
“天子有爭臣七人，雖亡道不失天下”出自《孝經·諫諍章》：“昔者天子有諍臣七人，雖無道，不失其天下；諸侯有諍臣五人，雖無道，不失其國；大夫有諍臣三人，雖無道，不失其家；士有諍友，則身不離於令名；父有諍子，則身不陷於不義。故當不義，則子不可以不諍於父，臣不可以不諍於君；故當不義，則諍之。從父之令，又焉得爲孝乎!”《韓詩外傳》卷一〇：“天子有爭臣七人，雖無道，不失其天下。昔殷王紂殘賊百姓，絕逆無道，至斮朝涉，刳孕婦，脯鬼侯，醢梅伯。然所以不亡者，以其有箕子、比干之故。”