義経記に「大寺と言う所有り」と記されている。 源平の合戦で、小松島の勝浦に上陸した義経軍は、この裏の大坂峠を越えて屋島の戦いに臨んだ。 この寺には一行が休憩した折に、弁慶が力自慢にもち上げたという「力石」がある。戦勝祈願をした寺として「源平盛衰記」に伝えられている。

元々は護国鎮守の経「金光明王経」より、金光明寺とされていた。
大師が日照りに苦しむ農民の為に井戸を掘った事から、長寿の水の涌く泉の寺と呼ばれ金泉寺となった。 聖武天皇の時代に行基集団により創られたとされるが、天平年間の古い瓦も出土している。 弘法大師を篤く信仰されていた亀山天皇がしばらく滞在され堂社を建て勅願寺とされたので、亀光山と言われる。南北朝時代に南朝の長慶天皇がこの寺で崩御した。御陵は本道の裏にある。応永五年のことである。