他有一位身爲狀元、帝師、大學士的祖父，自己又是探花出身，官運亨通。一般文人所擁有的長處，如琴棋書畫、鑑別古董等技藝，他樣樣比別人出色，更兼勇於言事敢於參人，自然而然地受到京師士大夫的景仰，隱然坐了清流黨的第二把交椅。不過，這位事事得意的大官卻有一個深深的隱痛，那就是他年已半百卻膝下空虛。無兒無女怪不得別人，毛病出在他自己的身上，原來他是一個天閹——先天性的功能不行。好在他性格開朗，並不在意，也不忌諱。
清流黨中流傳着一個笑話。有一天，他家裏幾個清客和他聊天。有人說：“潘大人，你這麼大年紀還無兒女，我們都替你着急，多拿點銀子出來，買兩個妾吧，也好早爲你接續香火!”潘祖蔭斜了一眼這個清客：“你們着什麼急？明明曉得我是天閹，還勸我買妾。買得妾來還不是便宜了你們這班龜孫子？我纔不那麼蠢哩!”
清客們哈哈大笑，他自己也忍不住笑了起來。
這位吳縣才子雖沒有子孫替他傳香火，但他自信他的文章能爲他傳名後世。
他的文筆的確好。京師官場上誰都知道他有一件值得驕傲的往事。二十年前，正是江南一帶朝廷的軍隊和太平軍激戰的時候，現在威名赫赫的左宗棠，那時還只是湖南巡撫駱秉章身邊的一個師爺。這位左師爺心高氣傲，瞧不起平庸的文武官吏。永州鎮總兵樊燮來巡撫衙門辦事，左宗棠不僅用言語嘲諷他，還用腳去踢他。樊燮不能受這個窩囊氣，一狀告到朝廷。咸豐帝也很氣憤，下令要湖廣總督官文處理此事，若屬實則將左宗棠就地正法。左宗棠的朋友、時爲翰林院編修的郭嵩燾急壞了，他請翰林院侍讀潘祖蔭上疏救援。潘祖蔭久聞左宗棠大名，遂很用心地寫了一道爲之辯護的奏章，其中兩句最爲精彩：國家不可一日無湖南，湖南不可一日無左宗棠。後來咸豐帝赦免了左宗棠，再後來左宗棠不斷建立功勳，這兩句話便不脛而走，傳遍全國，潘祖蔭的名聲也便跟着傳遍天下。