磺溪書院是清末文教建築的傑出作品，於清光緒十四年(1888)，由鄉士紳趙順芳創建，又稱文昌廟，是昔日大肚地區的文教中心。甲午戰敗台灣割給日本，在日本的統治下，磺溪書院教育事業被迫中斷，日軍近衛師團曾進駐在此，後多次加以維修，維持不錯的狀況。但光復後乏人管理，書院不斷遭偷竊再加上變賣廟產，使書院不復當年風采。幸賴大肚前鎮長陳榮懷先生等人奔走下，於民國七十五年間，經內政部列為第三級古蹟，並撥款修復及完成規劃佈置，得以恢復原貌。

書院建於光緒14年，為四合院式格局，講堂前有拜亭一座，兩側護龍為齋舍。磺溪書院在台灣建築史上具有極高的藝術價值，重要性有三，一是其平面介於民宅與孔廟間的綜合體，且立面形式為一般閩南式建築所少見。二是其細部裝飾及磚作工夫特佳，堪稱台灣磚工最考究的建築。三是屋頂的造型形態特殊，屋頂分為五個段落，六個燕尾，亦覆有小屋頂並留有通風孔隙，是建築上考究而華麗的作法，為內政部公告之書院類三級古蹟。磺溪書院經政府補助，硬體設備已修復完成，但因竊風盛行，所有文物只得鎖在倉庫內永不見天日。