縁起によれば天慶年間におきた藤原純友の乱を平定した藤原倫実が沼田七郷を賜り、薬師如来を本尊として楽音寺を建てたと伝えられている。その後，鎌倉時代になり東国から移住してきた小早川氏の氏寺となり二院十八坊を数える大寺となるが、近世には福島正則の寺領没収により疲弊し現在に至る。中興開山といわれている宥文の墓碑銘によると、楽音寺本堂（県重要文化財）は小早川隆景の命により慶長3年(1598)に再建されたとあり、戦国時代の様式を伝える数少ない建造物である。