灵光寺始建于唐朝大历年间（766年－779年），初名“龙泉寺”。辽道宗咸雍七年（1071年），丞相耶律仁先之母郑氏为供奉佛牙舍利而出资在寺内建造了“招仙塔”。金世宗大定二年（1162年）重修该寺，将该寺所在山称“觉山”，龙泉寺改称“觉山寺”。明宣宗宣德三年（1428年），因翠华公主葬此，故寺庙重修，并在招仙塔前建“翠微寺”，觉山寺则复名为“龙泉寺”，招仙塔自此又称“翠华公主塔”。明英宗正统年间（1436年－1449年），北京八大处附近的黄村曾敕建“灵光寺”一座。明宪宗为扩大龙泉寺的规模，乃于成化十四年（1478年）征调中国各地的木材扩建该寺，建成后将龙泉寺的匾额改为“灵光寺”，此名沿用至今