延暦24年（805）伝教大師が唐より帰国の途中、暴風雨のため、船が沈みそうになり、御自作の不動明王を海に沈めて祈願し、無事帰国しました。

　その後、天安2年（858）越後出雲崎の漁夫が不漁続きの時、毎夜不思議な光を見、探したところ、海中から大師がお沈めになった不動明王が現れ、大切にお祀りしました。永承6年（1051）源頼義が戦勝を祈願し、その後康平6年（1063）に霊験を感じて下総米沢（現在の千葉県香取郡神崎町）に御尊像をお迎えし、鎌倉時代には文永11年（1274）、執権北条時宗が文永の役に戦勝祈願し、寺運大いに興隆しました。

　慶長5年（1600）住僧良台は本尊の夢のお告げによって、武蔵人継（一ツ木）の地に寺を移し、眼下に溜池を望む霊地であったことから池見山遮那院と号しました。家康江戸入府以前のこと、赤坂の地草分けの古刹です。

　江戸時代に入り、紀州徳川家の祈願寺となり広く人々に信仰され、大いに栄えました。人々はその威徳を尊び智劔山威徳寺と呼ぶ様になり、現在も内陣には紀州徳川家奉納の厨子や仏具などがあります。以来、江戸の火災や大震災、戦災などいくたびの災禍を免れた霊験あらたかなお不動様です。

​