始建于一千多年前南北朝时期的“灵湖古寺”位于广海城东象山脚下，坐北向南，左有莲花山，右有虎头山，宛如两臂向前延伸入海，堪舆学者称是青龙白虎盘踞护法。寺前有一开阔空地，再前有一条由海浪冲刷堆积而成的三里多长的沙堤，横亘莲花、虎头两山之间，截水形成一湖，古称“圣塘”。唐宋年间，墨客骚人将其附近的“龙祠”与唐代诗人刘禹锡“水不在深，有龙则灵”名句联系起来，改称“灵湖”。“灵湖”向海不远处，有两个小岛屿，当地人称之为“大排”、“小排”，岛上树木葱茏，随风摇曳，状似“灵湖古寺”的灵台香烛，缕缕青烟，为海上过往船只指点迷津、导正航向。古寺地理层次感强，后依群山，前为空地，下有“灵湖”，不远处是茫茫大海，山青水美，海天相连，景色壮丽。
     据记载，南北朝时期的梁武帝天监元年（502年）天竺国（印度）高僧智药三藏远航来到广海，种植中国第一颗菩提树，建阿兰若为灵湖古寺奠下根基。宋朝乾道初年（1165），高僧永师云游至此，在菩提树边筑庵而居，名为永庵。嘉定初年（1207）,永从徒弟应玑将其师六永庵改建，易名“灵湖寺”。清咸丰六年（1856）至同治二年（1863）土客纷争，寺宇禅寺堂俱被焚毁，仅存焦土。光绪十年(1884),广海奇石村彭凤桐倾全族之力倡捐重修“灵湖堂”，定名“灵湖古寺”。1937年寺内遭歹徒盗窃。民国36年（1947）奇石协泰行建筑商余沛捐款将寺院略加修葺。1966年文化大革命期间庙宇被视为迷信场所，全部设施被砸毁，灵湖古寺荒滩杂草丛生，成为空寺，只留门庭“灵湖古寺”和对联石刻供人欣赏及怀古溯源。2003年9月市政府办公室发文批准重修。2006年7月台山市民族宗教局行文批准成立台山市广海镇修复灵湖古寺筹备委员会。2006年9月，广海镇提出在“十一五”期间完成修复灵湖古寺工程。2007年2月灵湖古寺前殿堂修复一新，殿堂中央安座白玉雕塑三尊佛像和左右东西北角3个菩萨神像。2009年4月旅港乡亲伍坚石先生乐捐巨资，修复灵湖古寺大雄宝殿。随后，体操王子李宁家族以及马运斗、麦少娴、黎同瑞、李涛等善信捐资塑造了菩萨圣像。目前，灵湖寺正在启动厢房、藏经阁、观音殿等修复工程，已完成10亩土地平整，投资约50万的山门正在建设中。释仁伟法师常住寺内主持事务。

   一千多年来，“灵湖古寺”因其“灵”和“古”而成为广海百姓心中一方神圣之地；又因寺中和尚品德高尚、慈悲为怀，常为周边病患者施医赠药，带领青年小伙习武健身、保卫家园而受到广海百姓的尊崇。