今為縣文化館駐址，建于元大德四年，歷經數次重修、擴建，至明萬歷年間形成一定規模。明末毀于兵燹，清初復修，民國年間改作別用。建國初，僅存戟門、大成殿、明倫堂及東西廊房。1978年拆除戟門，建文化樓。1982年至1984年，對大成殿、明倫堂進行維修，重安隔扇門，大成殿頂換成黃色琉璃瓦，四角飛檐有仙人騎鶴、跑獸等裝飾。