昔、海賊や異国人の来襲に備えた「とりで」であったとも言われている。６５０年ごろ、中国（唐）の船が暴風雨をさけるため、島山の沖に停泊しようとしたが、激浪のため岩礁に衝突し、船は大破して、島山の岸に打ち上げられた、と伝えられている。