平家の落人の末裔江馬朝方が築いたという。戦国時代になって江馬輝盛は松倉城主三木自綱と戦って敗れ、神岡城は落ちた。高台の城跡には、二層三階の天守閣を模した歴史資料館が建てられている。