1992年版的《彭泽县志》记载有：“悟灵庵，位于泉山乡的刘家岭，原名：安禅寺，建于东汉，元末兵毁。”的文字。内中安禅寺，据史料记载是江西最早创建的寺院。它是悟灵庵的前世，它的悠久历史身份，堪比位于河南洛阳被中外佛教界誉为“释源”、“祖庙”、“中国第一古刹”的白马寺。 

　　白马寺创建于东汉永平十一年即公元68年，而安禅寺据《续修四庫全书》史部地理类光绪《江西通志》卷一二五中讲：“安禅寺古名安禅院，在彭泽县东十里新兴乡，汉永平年间僧祖印创，明洪武九年重修。”內中汉永平年间是指东汉显宗孝明皇帝刘庄的永平年号期间，也就是永平元年至永平十八年之间。但安禅寺创建在永平年号中具体哪一年不能确定，但至少安禅寺是江西省最早创建的寺庙，是佛教在江西的“祖庭”应该是有过硬的史料支持的。 

　　值得一提的是，与安禅寺同时代创建的寺院江西还有两座：临川县白山寺，它创建于东汉章帝刘炟在位时期即公元75一88年；浮梁县双峰寺，它始建于东汉桓帝刘志元嘉元年即公元151年（见《江西佛教史》）。它们建寺时间都比安禅寺稍晚。 

　　对于安禅寺的创建时间，有学者认为不可能超过或者相近白马寺，其理由是佛教只能是从西域经陆路传入中原后再逐渐南下传到南方各地：但很多学者不赞同这个观点，他们认为并非只有西北丝绸之路一条道传入中国，殊不知也有海路到达南方吴楚之地。其实佛教早在陆路传入中国之前，已从海路从西域滨海国家传入中国东南沿海一带，然后逐渐进入长江流域及南方内陆地区。公元前二世纪左右﹙西汉高祖刘邦时期﹚“胡人”便开始以奴隶、商人、艺人、佛教徒等身份，作为佛教文化的载体，从海上进入我国东南沿海地区。当时佛教传播是观念上的播迁，靠的是囗囗相传并没有经书、佛像、寺庙之类佛门艺术积淀。后来才有了今天在东南沿海所见的狮、大象、鸽子等象征性动物形象；堆塑器、塔式罐之类象征性建筑物造型以及“托钵僧”俑、胡人俑、佛像等，它们是佛教文化从战国以后至东汉时期在中国东南沿海地区逐渐流行的艺术积淀。 

　　正如《洛阳伽蓝记》记载，从南海到西域海滨地区（如：古印度一安息国；大秦国－意大利）“浮浪乘风，百日可至。”这里“浮浪”指借助冬季逆时针洋流对船的推力；“乘风”指的是利用东北信风吹送下扬帆远行。秦汉以前就有西域进贡的动物如：长颈鹿、大象、狮子等大型野生动物来到中国。而且有资料表明汉代吴楚之地造远洋船舶的技术已很成熟，这使它们与西域滨海国家海上来往提供了可靠的保障。也可以说是一条海上丝绸之路。 

　　从历史上看，当时吴楚之地的佛教传播比起中原地区似乎更兴盛一些，如汉明帝刘庄的弟弟楚王刘英就笃信佛教。 

　　对于佛教传入中国的时间，学术界有几种看法: 

　　一、秦以前就有佛书传入中国，隋.《經籍志》记载:“其书久无流布，遭秦火之世，所以湮灭。”；二、西汉末期哀帝元寿元年，即公元前二年；三、东汉明帝永平年间。 

　　现今学术界一般采纳西汉末期说。 

　　关于悟灵庵，明代万历《彭泽县志》上没有记载，但安禅寺在明洪武九年重修。清代同治、光绪的《彭泽县志》上对悟灵庵的记载相同：“悟灵庵，县治东北十里，慧远禅师曾住锡于此手植白牡丹，至今犹存。”同治时刘家岭山脚下为安禅寺，悟灵庵则在山顶上，两家是分开的。现今刘家岭山上山下两处宗教建筑物合二为一被定名为悟灵庵，总觉有点本末倒置。作为悟灵庵前身的安禅寺，其创建历史更久远，在江西佛教史上更有研究内容和价值，它作为“江西第一寺”比起悟灵庵的名称更有历史地位和潜在的旅游价值。