文水縣位於山西省中部，太原盆地西緣，呂梁山東麓，早在新石器時代，就有先民在西峪口一帶狩獵採集，繁衍生息。

東周時期，文水是晉國的土地，縣地為平陵邑。戰國期間文水歸屬趙國，為大陵邑。境內河流有汾河、文峪河、磁窯河。縣境西部山區有頭道川河、二道川河、三道川河3條支流。還有瓦窯河、白石河、飲馬河三條過境河，在本縣流程很短，多數為流域窄、流量小的季節性河流。

秦始皇統一全國後，在文水附近設定了大陵縣，歸太原郡管轄。

北魏太平真君九年（448年），徙壽陽縣三千戶居大陵城南十里，改大陵縣為壽陽縣，後人因縣城在壽陽之西，故又稱西壽陽縣，也屬於太原郡管轄。

隋朝時期，開皇十年（590年），因縣內有文谷水，更名文水縣，屬幷州。

武則天稱帝后，唐天授元年（690年），文水縣改為武興縣。神龍元年（705年），複名文水縣，屬太原府。

宋元明清期間，文水一直都保留，歸太原府管轄。民國時期，屬於晉綏軍的領地，歸閻錫山管轄。抗日戰爭期間，八路軍曾在此駐紮。

建國後，文水縣化為七個區，一區駐地城內，二區駐地下曲鎮，三區駐地南莊鎮，四區駐地開柵鎮，五區駐地大象村，六區駐地孝義鎮，七區駐地馬西村，共轄192個村。

1958年11月，汾陽、文水、交城三縣合併為汾陽縣，本縣改稱文水鎮，設汾陽縣文水鎮辦事處。文水縣被劃為4個人民公社，即：城關前進人民公社、雲周西胡蘭人民公社、南武紅旗人民公社、開柵先鋒人民公社。

1959年9月，三縣分置，恢復文水縣建置，屬晉中行政專員公署。

1971年5月1日，呂梁地區革委會（後改稱呂梁地區行政公署）成立，文水縣屬之管轄。全縣設17個人民公社，轄生產大隊212個，自然村217個。

1984年4月，撤銷人民公社建制，改劃為鄉鎮建制。全縣改劃為7鎮、10鄉。1985年4月，設立溝口鄉。同年，全縣有7鎮11鄉，轄217個自然村，村民委員會212個。

2001年，文水縣進行撤併鄉鎮工作。至2009年，全縣有7鎮5鄉，轄村民委員會199個。

2004年3月，呂梁市成立，文水又歸於呂梁市。

文水是一座歷史文化名城，有著3000多年的歷史。據後來的考古發現，新石器時代這裡就有居民繁衍生息。春秋時是晉國宗室之田，戰國為大陵，西漢設大陵縣，北魏為受陽縣……唐女皇武則天當政期間，一度改為武興縣，後來復改為文水縣，一直沿用至今。

眾所周知，文水縣名動天下，是因了出了中國歷史上唯一的女皇帝武則天，現存武則天廟也是文水重要的人文歷史景點，是全國重點文物保護單位，廟內中軸線上有武則天的雕像，此外，還有正殿、樂樓、山門、偏殿、魚池、碑廊、迴音亭等三十多間殿宇，很是宏大。

除了武則天，文水縣還出了民族英雄劉胡蘭，15歲的少女英勇就義，毛澤東同志為她題辭：“生的偉大，死的光榮”。現在這句題詞還刻在劉胡蘭烈士紀念紀念碑上。紀念館裡還有劉胡蘭烈士生平事蹟陳列室，劉胡蘭雕像、劉胡蘭墓等。此外，還有烈士被捕、受審、就義處等遺址。