當地人稱文昌宮，又稱孔子廟，為三級古蹟，清同治元年(1862)，大甲舉人何清霖向地方紳士勸募合力興建，內設立義塾，以教導大甲子弟，弘揚文教；共建祠宇三間，兩進中設正殿，祀文昌君，左右廂房為義塾，大門外設照牆。廟中現有「人物權衡」與「文明氣象」兩塊額及其它文物。

文昌祠原是義塾，創建於清光緒十三年(1887)，正殿主祀文昌公，由大甲鄉紳捐銀興建，在左右廂房義塾，民國三十八年因裝甲兵團、保警大隊、退除役官兵陸續占住而毀損，還好沒有建，至今仍保有創建時的原貌。
文昌祠是三開間、兩進兩廊，左右帶護龍的殿堂式四合院祠宇建築。前埕寬敞，第一進山門是擔廊形式，三段燕尾翹脊，筒瓦屋面是典型的清代祠廟形式。祠內裝飾請來鹿港師彩繪，是一座結合書院與廟宇的複合建築，列入國家第三級古蹟保存。