白髭神社では、ご神体に男根形の陽石が祀られています。
そのため花柳病（性病）に霊験あらたかとの噂が流れ、江戸の吉原や遊郭、水茶屋などの花柳界から篤い信仰を集めたといわれています。
また徳川六代将軍家宣の愛妾、左京局が信仰によって七代家継を生んだことから子授け、安産のご霊験あらたかと江戸中の女性に人気を呼び、江戸名所のひとつにもなっていました。
上記の由来から子授けや安産、さらには精力増強のご利益もあるとされ、信仰を集めています。