安養寺には、祈願すれば乳が出るようになると古くから信仰されてきた霊木「乳銀杏」があります。
733年（天平5）、皇子をもうけた聖武天皇の妃が、乳の出の悪いことを行基に相談したところ、安養寺の薬師仏に祈念するように献言を受けました。
行基の教えどおりにしたところ、ほどなく願いが叶ったため、銀杏の木を寄進したといわれています。
この伝承から、銀杏に願をかければ乳の出が良くなるといわれ、ご利益を求めて枝や下垂れ（気根）を削り取る人が絶えなかったそうです。
1690年（元禄3）には、時の住職栄弁によって「銀杏削取・折取禁制」と刻まれた石碑が銀杏の根元に建てられました。
それほど霊験あらたかなことで知られる霊木です。