靈耀寺的佛光已經消失一甲子。於我們這代人而言，靈耀寺就像一個傳說。但在耄耋老人的口述中，靈耀寺的存在卻是那般清晰。明萬曆壬子《龍游縣志》諸寺觀中，將靈耀寺列爲第一名寺。
靈耀寺原名靈光寺，始建於晉義熙年間，已有1600年的歷史，是古太末境內歷史最悠久的寺院。宋紹聖年間，靈光寺易名爲靈耀寺，靈耀亦作“靈曜”，謂天，或日月的意思，寺名氣勢磅礴。
靈耀寺地處龍游縣城中心。兩舊志記載，靈耀寺建在姑蔑故宮舊址上，相傳春秋時姑蔑子分封於此。一般的寺廟裏所供伽藍神是完全漢版的伽藍神關羽，但靈耀寺所供伽藍神是姑蔑子遺像，服飾是進賢冠。《後漢書·輿服志下》：“進賢冠，古緇布冠也，文儒者之服也。”
在老人記憶中，站至二樓仍要仰視其像，伽藍神身披長風，頭束幘巾。這類進賢冠服飾風格至少出現在南北朝以前，常見於兩漢。說明靈耀寺所供伽藍神符合晉代建寺時的早期特徵。
宋時鄭得彝《靈耀寺》有詩讚曰：
法門照寂本來同，話斷無生妙亦通。
境幻靈光西竺國，夢空姑蔑大槐宮。
市雲朝暮鐘聲外，牆月高低塔影中。
琴鶴翁曾遺舊隱，百年凜凜尚清風。
古詩印證了靈耀寺建在姑蔑故宮址上。
清乾隆餘作沛《重建毗盧閣記》記載：“邑之西北百餘步。古剎曰靈耀寺，廣袤約百畝。”靈耀寺的具體位置：以縣治中心爲基點，向西北邁出百餘步，邊界分別是太平路以北,義和巷以西，文化路以南，包括現義商銀行、橋下小學範圍等，原雞鳴書院、三官堂舊址等均在靈耀寺範圍內。從面積約百畝計，西邊界址直抵新華路，這個面積應該包含寺院所屬的部分僧田。寺廟的收入除了信衆佈施外，還有僧田的租金。
自古以來，靈耀寺殿宇巍峨，規制宏博，禪和雲集，檀信皈心，香火之盛，稱龍丘第一山。然，至宋、明及清，代有興廢，屢圮屢修。歷次重修中主要有明天順間知縣王瓚、萬曆間知縣萬廷謙、清康熙間知縣盧燦、乾隆間縣人翁登發等。
靈耀寺最後一次重修於光緒戊戌春，重修者爲住持孤峯。
孤峯上人，俗名嚴耆孫，字英仲，法名開霽，歙縣人。鹹同間，曾輔佐衢州嚴總兵饒廷選幕，保至知縣。初署餘杭知縣，卻因楊乃武案被劾。復出後署桐廬知縣，又遇災年虧欠，卸任時累計虧空數千金，仕運實在不佳。
孤峯後棄家至普陀山法雨寺削髮爲僧。他在《丁酉歌》中記載了出家的過程：“光緒甲申，渡海登普陀，謁大士，猛思出世，銳志學佛。尋師髠短髮，俗慮一齊蠲。有時翻貝業，暇則理冰弦。飢餐紅粒飯（普陀產皆紅米），渴飲白雲泉。野衲蹤無定，任運且隨緣。”丁亥年，孤峯應東甌諸紳之請，主席仙岩聖壽寺，修建殿宇。庚寅年，仍返普陀。或住西湖西，湖水清且漣，逍遙自在。
光緒丁酉二十三年，龍游鳳梧書院主講葉元祺、湖鎮汪榮封請舍利寺住持振機出面，從西冷邀孤峯上人來龍游。孤峯到龍游後，張芬等諸紳請他主持靈耀寺。此時的靈耀寺，因鹹同之亂，正殿起火，山門及兩廊寮舍、官廳、方丈均坍圮成爲廢墟，唯有毗盧閣僅存五楹。然因蝕於蟻蛀，也危危可及。
光緒戊戌二十四年春天，毗盧閣西大梁突然斷裂，孤峯奔走相告。龍游知縣張炤帶頭捐助俸廉，其他官吏也紛紛慷慨解饢，百姓更是爭先恐後。重修毗盧閣大事由孤峯主持，工匠很快就選好大木，但因久旱靈山江干涸出不了山，衆人心急如焚，唯孤峯穩如泰山。
次日清晨，晴如往日，孤峯率衆僧在山門禱於佛天，燃三柱香，半個時辰後，邑南天色忽變，即大雨，靈山江溪水暴漲。工人速運木料，待十餘筏木運到城後，雨旋止，靈山江又幹涸如故，衆人皆稱奇。
重修後的毗盧閣高五十尺，相當於現在的六層樓；中空，衛以雕欄，四周窗牖玲瓏，蘭宮桂殿，飛閣流丹，檐牙高啄，楹柱粗可合抱。遠眺溪山，俯瞰城闕，陰晴雪月，美景無窮。
靈耀寺坐北朝南，有五開間三進二庭院及東西兩側邊屋各十五間。頭進山門，正中供奉着彌勒佛，左右供奉着四大天王像，背面供奉韋馱天尊像。彌勒佛坦胸露肚咧嘴，正臨太平街，過往行人常喜上前一拜，以博彌勒佛開懷一笑。
中進爲大雄寶殿。大雄寶殿是舉辦佛事活動的場所，殿內正中央供奉有釋迦牟尼佛、阿彌陀佛、藥師佛及十八羅漢，整座大殿開闊疏朗，古色古香。
後進爲毗盧閣。毗盧閣供的是毗盧遮那佛，高十餘米，全身貼金，體態偉岸，燦耀可鑑。按中國佛教天台宗的說法，毗盧遮那佛是法身佛，盧舍那佛是報身佛，釋迦牟尼佛是應身佛。“毗盧遮那”有“光明遍照，遍一切處”的意思，就是指佛的光明普照萬方。南方寺院極少有毗廬閣，只有早期等級較高的寺廟才供毗盧遮那佛法身佛。
孤峯擅詩，性高雅，著有《西方樂四十八詠》《孤峯剩稿》4卷。《孤峯剩稿》卷四中就記載有靈耀寺毗盧閣的兩幅楹聯：
證得理事無礙，體用全彰，者便是華藏莊嚴世界;
離卻三十二相，八十種好，方纔見毗盧清靜法身。
嘆凡夫顛倒愚癡，無端兩眼生花，誤認那世界身心，以爲實有；
唯我佛慈悲喜捨，不惜五乘識法，要度盡卵胎溼化，齊悟真空。
毗盧閣修成後，孤峯在《毗盧閣修成書聯誌慶》中道：
歷周秦漢六朝以來，宮遺姑蔑，剎建靈光，俯仰數千年，幾經烽火摧殘，幸餘寶閣空中立；
當江閩浙三衢之地，施倡宰官，金輸善士，莊嚴剛半載，喜得登臨憑眺，奚啻毗盧頂上行。
毗盧閣的東側是經堂，堂內有釋迦牟尼像，罩在二米多高的玻璃框內。另有小門通往“淡泊明志”室，是方丈的住處。室內恬適整潔，外人不得隨意出入。旁有小園，有株古桂花樹，濃蔭繁茂，幽靜高雅。知縣及以上官員出巡途經龍游時，大多借寓於此。
然世事無常，民國二年，孤峯圓寂於靈曜寺。孤峯與靈耀寺之緣，正如其詩所曰：
我本雲遊一散人，隨緣到處便棲身。
者番拋得西湖去，莫是龍游有夙因。
而我們又何嘗不是如此？
2020年12月2日晚