吳式芬，古海豐縣，現在的無棣（di）縣人。無棣縣，隸屬於濱州市，地處山東省北部，東北瀕臨渤海灣。西周置無棣邑，因境內有無棣山、無棣水而得名。

清道光十五年吳式芬中進士，歷任翰林院編修，陝西布政使，內閣學士兼禮部侍郎等職。 吳式芬一生喜好金石文考古，從政之暇，即蒐集金石器物，撰寫了《捃（jun）古錄》，《捃古錄全文》兩部金石學專著，與他人合著了《封泥考略》。吳式芬博學多才，一生著書甚多，現原稿多數藏於國家圖書館和山東省圖書館。

吳世芬故居位於老無棣城南門裡西側，佔地7000平方米，始建於明英宗正統年間，原為明代戶部尚書王佑之宅第，由吳氏十三世吏部尚書吳紹詩購置後重新擴建，已有500年曆史。

南院以“寶硯堂”為主體，“寶硯堂”因吳氏珍藏蘇東坡“雪堂寶硯”得名。北院“尚書第”建於清康熙甲辰年（1664年），門楣上懸“尚書第”橫匾，室內迎門高懸“父子進士”金匾。據專家論證，此故居系明清時期官宦府第的典型代表，具有較高的考古價值和藝術價值。

從清初起，吳家就是遠近聞名的豪門大戶，以人文鼎盛著稱，有“進士世家”、“尚書門第”、“九世朝臣”之稱，其文化底蘊，社會影響廣泛，被視為清朝三百年曆史的縮影。

故居保存有三方刻石，一方是清代詩壇盟主王士禎題寫的，另外兩方刻石分別為劉墉和鄭板橋所題。“尚書第”是清朝大學士于敏中題寫，橫匾“進士人家”是文華殿大學士張廷玉所書，真可謂是大家雲集，群星燦爛。

吳家以詩書傳家，注重族人的文化教育，專門成立了自己的私塾，要求族人的孩子必須參加學習，並且一代代傳授參加科舉考試的成功經驗。粗略統計，一共考取進士六名、舉人十三名、貢生十七名、太學生十六位，這在當時的海豐縣引起了巨大的轟動。於是吳家成了遠近聞名的：“祖孫父子叔侄兄弟進士之家”。