《衡陽建設志》上"仙姬巷的傳說"一文對於仙姬巷的來源有兩種說法:一說,據《清泉縣誌》記載, "舊傳何仙姑居此,故曰仙姬巷”。說是有位姓何的仙姑住在這裏，每天上花葯山採集藥草替人治病,聲名遠揚。後人有感於其恩德,就把她住的這個地方稱作仙姬巷。另說,八仙中的鐵柺李雲遊到此,想要測試一番幾人之心,於是假意跌倒坐在巷子口,祈求過往的行人能夠替他將已經潰爛的瘸腿捉蛆擠膿,行人來來往往,竟沒有一個人憐恤。
唯有一隻公雞走過來,啄開他的膿包,喫掉血肉中的蛆蟲。鐵柺李不由嘆息: "人情淡薄不如雞”,便幫助這隻公雞成仙。
也正是因此,後人遂稱此處爲"山雞巷”。
據查證,何仙姑、鐵柺李等八位仙人傳說成形井流傳開來始於明代吳元泰所作《八仙出處東遊記》。但其中,有的人物原型據考據出現得更早,比如何仙姑是唐朝人,鐵柺李是隋或者唐朝人。這些爲推測仙姬巷地名最早出現的年代提供了一些線索。
清宣統元年衡陽城區圖上,就有"仙姬巷”。那時,仙姬巷與宣揚巷(現在的環城南路)、灰土巷(現在的輝吐巷)、黃青巷、朱紫巷(與現在雁城路中山南路到蒸陽路段有重疊)在衡陽內城牆回雁門外,但還不屬於城外,因爲還有一層外城牆,花葯山、春溪井、打線坪街、五顯巷、蘇仙巷(現在蘇眼井一帶)在外城牆外,回雁峯、壽佛殿在外城牆內。
《清泉縣誌》說,灰土巷就是現在的輝吐巷,是"明巷內有指揮府"的訛稱,舊名"揮府"巷。這可能說明,明朝時期,仙姬巷、輝吐巷這塊地方並不荒蕪。