吳文簡祠位于月山村村頭，系浙江省文物保護單位。“文簡”是因吳姓之祖吳翥曾受唐宣宗謚封為文簡先生，后人為追緬先賢，建祠紀念。該祠始建于明萬歷三十四年（1606年），因遭兵焚，后由鄉賢吳懋修發動舉溪境內的大一公（吳希點）下的富二、富四、富五三房聯名創建，清康熙五年（1666年）竣工，歷時十三年之久。該祠與來鳳橋相對，依山傍水，祠前有一古樟樹，枝葉繁茂，亭亭如蓋，取蔭庇子孫之意。

    古祠堂布局分三進，即大門牌樓、正堂、后堂，整體布局呈長方形，長33.4米，寬17.4米，整個建筑造型莊重古樸、美觀大方。正門上懸掛“吳文簡祠”匾額，兩側掛“文經”、“武緯”匾。從門樓正堂的間當設卵石鋪砌的過道（俗稱月石），兩側設天井及香灰房，上刻有“大明嘉靖元年”的磚刻題記。

    正堂五開間，進深六間，明間抬梁式，正上面懸掛“務本堂”和“源遠流長”匾額，用于慶典、集會、祭祀等活動。正堂至后堂之間設立天井，鵝卵石鋪砌。正面設有石碑三方，石碑上介紹祖先生卒、官職和古墓座落的位置，以及每年清明祭祀須注意的事項。兩側設置13級臺階至上，系青磚鋪墁，后堂系妥先堂（供放祖先靈牌），該堂依山勢而建，重檐歇山頂、高于全村，如同祖宗在上，子孫繞膝。前廊與左右廊柱間設置美人靠。

    祠內木質刻花柱礎、萬字斗拱和正堂構造，設計別致，構造復雜，粗獷瑰麗，古貌昂然，別具一格其建筑類風格確屬罕見。據有關調查資料表明，僅在閩北和浙西南地區尚有少量分布，具有較高的科學藝術和考古價值。大量的牌匾、石碑、桅桿、靈牌、壁畫在“文革”期間遭嚴重破壞，后在80年代末至90年代初文簡公后裔和宗親捐資、獻料，把該座古建筑修復還原。1993年經縣政府審核批準，列入縣級文保單位，1997年經浙江省人民政府審核批準，列入省級文物保護單位。