大師が八畳の岩に金剛不壊の護摩壇を築き、一七日間の修法をされた。その地に五色の藤を植えたことから金剛山藤井寺という。江戸時代に臨済宗の南山国師が寺を再興し、その折に改宗し臨済宗となった。
本道の裏から、十二番焼山寺への「歩きの専用の登り口」がある。遍路転がしと呼ばれる道は若い男性でもゆうに片道五時間はかかる難路であるが、昔ながらの路に感激すること間違いなし。
途中で柳水庵や、一本杉の庵があるが、今は無住である。一本杉の大師像を見たら、あとはもう少しである