大師がこの地にとどまっていた時大日如来を感得され、一刀三礼されて大日如来を刻まれ、寺の名を本尊にちなんで大日寺とされた。自然の中にある寺の裏山よりこんこんと湧いていた白い水は、蛤水と呼ばれる霊水であった。石灰岩を通る地下水には銀等も含まれていたと言われる。 阿波藩主蜂須賀家は代々大日如来を護り本尊としていたため、篤い帰依を受け現在の堂塔は元禄年間に大修理をされた。「釘なし堂」と呼ばれる山門は下は角柱、上は丸柱のとても珍しい設計である。本堂から大師堂への回廊には江戸時代(明和年間)の西国三十三観音観音がまつられている。