本文1542字，建議閱讀4分鐘。
本文以17個 txt 文字，3萬多條資料為例，使用 Python 連線 MySQL 資料庫，實現快速操作。
應用場景：工作中經常遇到大量的資料需要整合、去重、按照特定格式匯出等情況。如果用 Excel 操作，不僅費時費力，還不準確，有麼有更高效的解決方案呢？
本文以17個 txt 文字，3萬多條資料為例，使用 Python 連線 MySQL 資料庫，實現快速操作。
別人加班乾的活，我的 Python 小助手幾秒鐘就搞定了！
本文主要包括以下三方面內容：
資料寫入資料去重資料匯出將資料寫入 MySQL 資料庫
下圖所示檔案是本文的資料來源：
我們的設想是：編寫一個小程式，扔在這個資料夾裡，雙擊後就可以自動讀取每個 txt 文件中的資料，並寫入資料庫。
重點程式碼解釋：這段程式碼用到了 pymysql 和 os 兩個庫。
pymysql：用來操作 MySQL 資料庫；os：用來遍歷所在資料夾下的所有檔案。現將主要程式碼解釋如下：
1、遍歷任意資料夾下所有檔名稱
程式寫好後，使用 pyinstaller 打包成 exe 程式，並放在要操作的資料夾下面。
通過 path = os.getcwd()命令，獲取該 exe 檔案所在目錄。
通過 files = os.listdir(path)命令，獲取 exe 檔案所在目錄下的所有檔名稱，並存入 files 列表中。
這樣我們就獲得了所有的 txt 檔名稱，你可以任意命名你的 txt 檔名，程式都能讀出來。
2、將資料寫入資料庫
（1）連線資料庫，並在資料庫中建立新表
A. 連線到我的 qq 資料庫
conn = pymysql.connect(host='localhost', user='root', password='123456', db='qq', charset='utf8')
B. 建立新表 qq
在 qq 資料庫中建立新表，表名稱為 qq ，包含 2 個欄位：id 欄位為主鍵、自動遞增；qq 欄位為字元型，用於儲存資料。
cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id))")
（2）將資料寫入資料庫
這裡使用了兩層迴圈：
for file in files: f = open(file,'r',encoding = 'UTF-8') next(f) for line in f: i += 1 #print(line) sql = "insert into qq(qq) values(%s);" cur.execute(sql,line) print("插入第", i, "條資料！") conn.commit() f.close()第一層迴圈是用來依次開啟上述 17 個 txt 檔案。
第二層迴圈是依次讀取每個 txt 檔案的每一行，並將改行資料插入資料庫表 qq 的 qq欄位。
至此就完成了資料的匯入，總共32073條資料。
資料清洗
這裡以去除重複值為例，簡單介紹一下資料清洗。
1、建立一個新表，用來儲存清洗後的資料
可以在 cmd 視窗下登陸 MySQL，開啟 qq 資料庫，執行下列操作：
CREATE TABLE qq_dist ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id));
這樣就建立了新表 qq_dist ,用來儲存清洗後的資料，便於後期呼叫。
2、清洗資料
登陸 MySQL 後，執行下列操作：
insert into qq_dis(qq) select distinct qq from qq;
將從 qq 表中查找出的不重複的 qq 欄位內容，插入到 qq_dist 表中的 qq 欄位。
將資料按照特定格式匯出
案例：將清洗後的資料的第101-200行匯出到新的 txt 文字中。
程式碼如下：import pymysqlconn = pymysql.connect(host='localhost', user='root', password='123456', db='wxid', charset='utf8')print("寫入中，請等待……")cur = conn.cursor()sql = "select wxid from wd_dis limit 100,100;"cur.execute(sql)conn.commit()alldata = cur.fetchall()f = open('data101-200.txt','a')i = 0for data in alldata: i += 1 f.write(data[0]) f.flush()f.closecur.close()conn.close()print("寫入完成,共寫入{}條資料！".format(i))1、 limit
MySQL 中 limit m,n 函式的含義是：從第 m+1 行開始讀取 n 行。
所以，本案例中讀取第101-200行，就是 limit 100,100
2、flush()
flush()函式一定要加上，它可以將緩衝區的資料寫入檔案中。否則就會出現生成的 txt 文件為空白的錯誤。
—完—