《衡阳建设志》上"仙姬巷的传说"一文对于仙姬巷的来源有两种说法:一说,据《清泉县志》记载, "旧传何仙姑居此,故曰仙姬巷”。说是有位姓何的仙姑住在这里，每天上花药山采集药草替人治病,声名远扬。后人有感于其恩德,就把她住的这个地方称作仙姬巷。另说,八仙中的铁拐李云游到此,想要测试一番几人之心,于是假意跌倒坐在巷子口,祈求过往的行人能够替他将已经溃烂的瘸腿捉蛆挤脓,行人来来往往,竟没有一个人怜恤。
唯有一只公鸡走过来,啄开他的脓包,吃掉血肉中的蛆虫。铁拐李不由叹息: "人情淡薄不如鸡”,便帮助这只公鸡成仙。
也正是因此,后人遂称此处为"山鸡巷”。
据查证,何仙姑、铁拐李等八位仙人传说成形井流传开来始于明代吴元泰所作《八仙出处东游记》。但其中,有的人物原型据考据出现得更早,比如何仙姑是唐朝人,铁拐李是隋或者唐朝人。这些为推测仙姬巷地名最早出现的年代提供了一些线索。
清宣统元年衡阳城区图上,就有"仙姬巷”。那时,仙姬巷与宣扬巷(现在的环城南路)、灰土巷(现在的辉吐巷)、黄青巷、朱紫巷(与现在雁城路中山南路到蒸阳路段有重叠)在衡阳内城墙回雁门外,但还不属于城外,因为还有一层外城墙,花药山、春溪井、打线坪街、五显巷、苏仙巷(现在苏眼井一带)在外城墙外,回雁峰、寿佛殿在外城墙内。
《清泉县志》说,灰土巷就是现在的辉吐巷,是"明巷内有指挥府"的讹称,旧名"挥府"巷。这可能说明,明朝时期,仙姬巷、辉吐巷这块地方并不荒芜。