大同2年（807年）、坂上田村麻呂が毘沙門堂として建立したのがはじまりという。その後、天長5年（828年）に慈覚大師円仁が延福寺（現在の瑞巌寺）を開山した際、五大明王像を安置したことからこの名が付いた。現在の建物は、伊達政宗が瑞巌寺の再興に先立って、慶長9年（1604年）に再建したもの。三間四方、単層宝形造の堂で、貴重な桃山建築として国の重要文化財に指定されている。五大堂に架かる「すかし橋」は橋げたの間が空いており、橋の上から下の海が見える造り。縁結びの橋としても知られている。