社伝では、十二代景行天皇の時代に勧請され、近江国から随従してきた白井家が六十二代に互って神職を奉仕した。文禄四年（1595年）類火に依り旧記録を焼失した。広大な社地は日高平野を見下ろす微高地にあり、古墳時代の舞台になったらしい。「紀伊名所図会」を始め多くの記録がある。小中、志賀、比井若一の各王子は熊野古道の海路に関係を持つ。