金剛寺は、聖武天皇の勅願により行基が開基。
後に、弘法大師が真言密教を広めるため、高野山金剛峰寺に相当する霊場としてここを選びました。
その後、後白河法皇の妹、八条女院が弘法大師像を安置し、女性にも門戸が開かれました。
女人禁制の高野山とすべての行事を同じくしながら、金剛寺は女性の参詣を許し、女性が弘法大師にご縁を結ぶ霊場として｢女人高野｣と呼ばれています。