他有一位身为状元、帝师、大学士的祖父，自己又是探花出身，官运亨通。一般文人所拥有的长处，如琴棋书画、鉴别古董等技艺，他样样比别人出色，更兼勇于言事敢于参人，自然而然地受到京师士大夫的景仰，隐然坐了清流党的第二把交椅。不过，这位事事得意的大官却有一个深深的隐痛，那就是他年已半百却膝下空虚。无儿无女怪不得别人，毛病出在他自己的身上，原来他是一个天阉——先天性的功能不行。好在他性格开朗，并不在意，也不忌讳。
清流党中流传着一个笑话。有一天，他家里几个清客和他聊天。有人说：“潘大人，你这么大年纪还无儿女，我们都替你着急，多拿点银子出来，买两个妾吧，也好早为你接续香火!”潘祖荫斜了一眼这个清客：“你们着什么急？明明晓得我是天阉，还劝我买妾。买得妾来还不是便宜了你们这班龟孙子？我才不那么蠢哩!”
清客们哈哈大笑，他自己也忍不住笑了起来。
这位吴县才子虽没有子孙替他传香火，但他自信他的文章能为他传名后世。
他的文笔的确好。京师官场上谁都知道他有一件值得骄傲的往事。二十年前，正是江南一带朝廷的军队和太平军激战的时候，现在威名赫赫的左宗棠，那时还只是湖南巡抚骆秉章身边的一个师爷。这位左师爷心高气傲，瞧不起平庸的文武官吏。永州镇总兵樊燮来巡抚衙门办事，左宗棠不仅用言语嘲讽他，还用脚去踢他。樊燮不能受这个窝囊气，一状告到朝廷。咸丰帝也很气愤，下令要湖广总督官文处理此事，若属实则将左宗棠就地正法。左宗棠的朋友、时为翰林院编修的郭嵩焘急坏了，他请翰林院侍读潘祖荫上疏救援。潘祖荫久闻左宗棠大名，遂很用心地写了一道为之辩护的奏章，其中两句最为精彩：国家不可一日无湖南，湖南不可一日无左宗棠。后来咸丰帝赦免了左宗棠，再后来左宗棠不断建立功勋，这两句话便不胫而走，传遍全国，潘祖荫的名声也便跟着传遍天下。