平家一門が安芸の厳島神社の分霊をいただいて守護神として戦中に祀っていましたが、壇之浦の合戦後、磯辺に漂着していた神霊を寿永４年（1185）に社殿を建立し、祀ったのに始まるといわれています。境内には慶応２年（1866）小倉戦争に勝った戦利品として、奇兵隊が小倉城から持ち帰った大太鼓が保管されています。