北条政子が信仰する冨士浅間神社に夫・源頼朝の武運長久を祈り、この地に観音像を祀ったのが始まりとされる。敷地内に５世紀末～６世紀前半にかけて造られた全長６０ｍの前方後円墳が発見され「浅間神社古墳」と呼ばれている。