坂上田村磨が建立した昆沙門堂が前身とされている。