-
1 # 潮辦公
-
2 # 外星人玩Python
思路與選擇更重要
我看過許多人一看到別人提問"python處理excel"之類的話題,立馬就說出一大堆的庫,結果很多初學者苦苦地編寫Python程式碼處理資料,最後他們都會感覺太坑爹了。
如果我在這裡列出各種處理方法,那麼成千上百的字數都不夠看。我覺得你更應該瞭解思路與工具的選擇,不然方向錯了,你就算拿著再好用的工具也發揮不了作用。
Python 與 Excel 的互動Python中有許多庫可以與Excel互動,比如 xlrd、xlwings等等,但是我要強調的是,這些庫僅僅讓你方便地與Excel打交道,比如,讀寫資料、設定格式。
如果你的日常任務僅僅是簡單設定格式,不需要對資料做複雜的計算和處理,那麼這些庫已經可以滿足你的需求
資料處理才是核心很多人已經會一些程式語言(比如 vba),轉到python上處理excel,結果是把vba程式碼用python程式碼寫一遍。諸如求平均、求和等各種從簡單到複雜的處理,都依靠自己編寫各種迴圈遍歷,最後只能從入門到放棄。
上述原因主要是他們只關注如何與excel互動,而忽視了資料處理才是整個問題的關鍵點。而在python中資料處理的最重要的庫pandas,就是你唯一的選擇。
選擇因此你需要先評估你的日常處理任務,是否有非常多的處理環節是從excel開始的。
比如,你的資料是直接從資料庫中處理獲取,你只需要編寫程式碼把資料輸出到excel,那麼這顯然不需要使用pandas(實際上使用pandas很可能比使用其他庫來得簡單)
如果你需要使用python做各種處理,然後輸出excel,那麼你必須要學習pandas,不然你只是在低效率處理資料
為什麼要用pandas?pandas的一個最大的優勢在於,大多時候你只需要告訴他做什麼,就可以完成工作,而不需要你親自編寫如何遍歷資料的程式碼。許多非常複雜的處理要求,使用pandas解決是輕而易舉,並且有非常好的擴充套件性。
[Excel資料處理你是選擇Vba還是Python?當然選擇pandas](https://www.toutiao.com/i6713810410480337419/)
4篇"Python替代Excel Vba"系列文章
若干篇利用pandas做資料分析的案例文章
最後我還是要提醒你,一定要根據自己的情況選擇適當的工具,這些都是輔助你工作的工具,不要被工具限制了你的思路
-
3 # 小小猿愛嘻嘻
Python批次處理Excel的話,有許多現成的庫可以直接使用,下面我簡單介紹一下,感興趣的朋友可以嘗試一下:
01xlrd、xlwt這是Python 2個非常基礎的Excel讀寫庫,其中xlrd專門用於讀取Excel,xlwt專門用於寫入Excel,支援常見的行列、單元格操作,安裝的話,直接在cmd視窗輸入命令“pip intsall xlrd xlwt”即可,官方自帶有非常詳細的入門教程文件和API介面,非常適合開發者學習:
這裡以簡單的讀取Excel為,測試程式碼如下,基本思想先開啟Excel,獲取工作表,然後根據所需直接讀取對應行列和單元格內容即可,非常簡單:
02openpyxl這是一個專門用於讀取Excel的Python庫,目前僅支援Excel 2010格式(xls不支援),操作單元格、行列,設定樣式、插入圖片等非常容易,安裝的話,直接在cmd視窗輸入命令“pip install openpyxl”即可,官方文件含有非常詳細的程式碼示例和截圖,非常適合初學者入門和學習:
測試程式碼如下,非常簡單,以寫入Excel為例,基本思想先建立一個Excel檔案,然後獲取工作表,最後再往對應單元格寫入內容即可:
03pandas這是Python一個非常著名的資料處理庫,在業界非常流行和受歡迎,內建了大量函式和資料型別,可以輕鬆處理Excel檔案,並進行復雜的資料處理,程式碼量更少,功能也更強大,安裝的話,直接在cmd視窗輸入命令“pip install pandas”即可,官方自帶有非常詳細的入門教程,原始碼都可直接執行,非常適合開發者學習和使用:
這裡以讀寫Excel為例,測試程式碼如下,非常簡單,一行程式碼就可輕鬆獲取或寫入資料,功能非常強大,推薦使用:
目前,就介紹這3個非常不錯的Python Excel處理庫吧,對於日常辦公和工作來說,非常不錯,只要你有一定Python基礎,熟悉一下相關文件和示例,很快就能掌握的,網上也有相關教程和資料,介紹的非常詳細,感興趣的話,可以搜一下,希望以上分享的內容能對你有所幫助吧,也歡迎大家評論、留言進行補充。
-
4 # 52sissi
在有關大資料分析Python API的本教程中,我們將學習如何從遠端網站檢索資料以進行資料科學專案。像baidu,Twitter和Facebook之類的網站都透過其應用程式程式設計介面(API)向程式設計師提供某些資料。要使用API,你需要向遠端Web伺服器發出請求,然後檢索所需的資料。
但是,為什麼要使用API而不是可以下載的靜態資料集呢?API在以下情況下很有用:
a.資料變化很快。股票價格資料就是一個例子。重新生成資料集並每分鐘下載一次並沒有實際意義-這會佔用大量頻寬,而且速度很慢。
c.涉及重複計算。Spotify的API可以告訴您音樂的流派。從理論上講,您可以建立自己的分類器,並使用它對音樂進行分類,但您將永遠不會擁有Spotify所擁有的資料。
在上述情況下,API是正確的解決方案。對於本資料科學教程,我們將查詢一個簡單的API,以檢索有關國際空間站(ISS)的資料。使用API可以節省我們自己進行所有計算的時間和精力。
大資料分析Python中的API請求
API託管在Web伺服器上。當您www.google.com在瀏覽器的位址列中鍵入內容時,您的計算機實際上是在向www.google.com伺服器詢問網頁,然後該網頁返回到您的瀏覽器。
API的工作方式幾乎相同,除了您的程式要求資料而不是您的Web瀏覽器詢問網頁之外。這些資料通常以JSON格式返回(有關更多資訊,請參閱有關使用JSON資料的教程)。
為了獲取資料,我們向Web伺服器發出請求。然後,伺服器將回復我們的資料。在大資料分析Python中,我們將使用請求庫來執行此操作。在此大資料分析Python API教程中,我們將為所有示例使用大資料分析Python 3.4。
請求型別
有許多不同型別的請求。最常用的一個GET請求用於檢索資料。
我們可以使用一個簡單的GET請求從OpenNotify API 檢索資訊。
OpenNotify具有多個API端點。端點是用於從API檢索不同資料的伺服器路由。例如,/commentsReddit API上的端點可能會檢索有關注釋的資訊,而/users端點可能會檢索有關使用者的資料。要訪問它們,您可以將端點新增到API 的基本URL中。
我們將在OpenNotify上看到的第一個端點是iss-now.json端點。該端點獲取國際空間站的當前緯度和經度。如您所見,檢索此資料不適用於資料集,因為它涉及伺服器上的一些計算,並且變化很快。
您可以在此處檢視OpenNotify上所有端點的列表。
OpenNotify API 的基本網址是http://api.open-notify.org,因此我們將其新增到所有端點的開頭。
狀態碼
我們剛剛發出的請求的狀態碼為200。向Web伺服器發出的每個請求都返回狀態程式碼。狀態程式碼指示有關請求發生的情況的資訊。以下是與GET請求相關的一些程式碼:
a)200 -一切正常,結果已返回(如果有)
b)301—伺服器正在將您重定向到其他端點。當公司切換域名或更改端點名稱時,可能會發生這種情況。
d)400-伺服器認為您提出了錯誤的請求。當您沒有正確傳送資料時,可能會發生這種情況。
e)403 —您嘗試訪問的資源被禁止—您沒有正確的許可權檢視它。
f)404 -在伺服器上找不到您嘗試訪問的資源。
現在http://api.open-notify.org/iss-pass,根據API文件,向不存在的端點發出GET請求。
擊中正確的終點
iss-pass不是有效的端點,因此我們得到了一個404狀態碼作為相應。.json正如API文件所述,我們忘記在最後新增。
現在,我們將向發出GET請求http://api.open-notify.org/iss-pass.json。
查詢引數
您將在上一個示例中看到,我們得到了一個400狀態碼,表示請求錯誤。如果您檢視OpenNotify API的文件,我們會發現ISS Pass端點需要兩個引數。
當ISS下次透過地球上的給定位置時,將返回ISS Pass端點。為了對此進行計算,我們需要將位置的座標傳遞給API。為此,我們傳遞了兩個引數-緯度和經度。
為此,我們可以在params請求中新增可選的關鍵字引數。在這種情況下,我們需要傳遞兩個引數:
1)lat —我們想要的位置的緯度。
2)lon —我們想要的位置的經度。
我們可以使用這些引數製作字典,然後將它們傳遞給requests.get函式。
我們還可以透過將查詢引數新增到url中來直接做同樣的事情,如下所示:http://api.open-notify.org/iss-pass.json?lat=40.71&lon=-74。
將引數設定為字典幾乎總是可取的,因為requests它可以處理一些事情,例如正確設定查詢引數的格式。
我們將使用紐約市的座標進行請求,然後檢視得到的答覆。
b"{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 330, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}"
b"{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 329, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}"
使用JSON資料
您可能已經注意到,響應的內容之前是a string(儘管它顯示為bytes物件,但是我們可以使用輕鬆地將內容轉換為字串response.content.decode("utf-8"))。
字串是我們將資訊來回傳遞給API的方式,但是很難從字串中獲取我們想要的資訊。我們如何知道如何解碼返回的字串並在大資料分析Python中使用它?我們如何altitude從字串響應中找出ISS的含義?
幸運的是,有一種名為JavaScript Object Notation(JSON)的格式。JSON是一種將列表和字典之類的資料結構編碼為字串的方法,以確保它們易於被機器讀取。JSON是將資料來回傳遞給API的主要格式,大多數API伺服器將以JSON格式傳送其響應。
json套件隨附大資料分析Python強大的JSON支援。該json軟體包是標準庫的一部分,因此我們無需安裝任何程式即可使用它。我們既可以將列表和字典轉換為JSON,也可以將字串轉換為列表和字典。就我們的ISS Pass資料而言,它是一個字典,編碼為JSON格式的字串。
json庫有兩種主要方法:
1)dumps —接收一個大資料分析Python物件,並將其轉換為字串。
2)loads —接收JSON字串,並將其轉換為大資料分析Python物件。
從API請求獲取JSON
透過使用.json()響應上的方法,您可以將響應的內容作為大資料分析Python物件獲取。
{"response": [{"risetime": 1441456672, "duration": 369}, {"risetime": 1441462284, "duration": 626}, {"risetime": 1441468104, "duration": 581}, {"risetime": 1441474000, "duration": 482}, {"risetime": 1441479853, "duration": 509}], "message": "success", "request": {"latitude": 37.78, "passes": 5, "longitude": -122.41, "altitude": 100, "datetime": 1441417753}}
內容型別
伺服器不僅會在生成響應時傳送狀態碼和資料。它還發送包含有關如何生成資料以及如何對其進行解碼的資訊的元資料。這儲存在響應頭中。在大資料分析Python中,我們可以使用headers響應物件的屬性來訪問它。
標頭將顯示為字典。在標題中,content-type是目前最重要的鍵。它告訴我們響應的格式以及如何對其進行解碼。大資料分析Python API入門教程https://www.aaa-cg.com.cn/data/2308.html對於OpenNotify API,格式為JSON,這就是為什麼我們可以json更早地使用包對其進行解碼的原因。
尋找太空中的人數
OpenNotify還有一個API端點astros.json。它告訴你當前有多少人在太空中。相應的格式可以在這裡找到。
9
{"number": 9, "people": [{"name": "Gennady Padalka", "craft": "ISS"}, {"name": "Mikhail Kornienko", "craft": "ISS"}, {"name": "Scott Kelly", "craft": "ISS"}, {"name": "Oleg Kononenko", "craft": "ISS"}, {"name": "Kimiya Yui", "craft": "ISS"}, {"name": "Kjell Lindgren", "craft": "ISS"}, {"name": "Sergey Volkov", "craft": "ISS"}, {"name": "Andreas Mogensen", "craft": "ISS"}, {"name": "Aidyn Aimbetov", "craft": "ISS"}], "message": "success"}
大資料分析Python API資料科學教程:後續步驟
建議的其他後續步驟是閱讀請求文件,並使用Reddit API。有一個名為PRAW 的程式包,它使在大資料分析Python中使用Reddit API更加容易,但是建議requests首先使用它來了解一切的工作原理。
https://www.toutiao.com/i6832146415016215043/
回覆列表
1.讀入操作
def load_data():
filename = u"投資企業.xls"
data = xlrd.open_workbook(filename)
table = data.sheet_by_name(u"Sheet1")
# 選擇第4列(從第2行到最後一行)
name_list = table.col_values(3)[1:]
# 返回list
return name_list
2.寫入已存在excel
import xlrd
import xlwt
from xlutils.copy import copy
# 開啟想要更改的excel檔案
old_excel = xlrd.open_workbook("fileName.xls", formatting_info=True)
# 將操作檔案物件複製,變成可寫的workbook物件
new_excel = copy(old_excel)
# 獲得第一個sheet的物件
ws = new_excel.get_sheet(0)
# 寫入資料
ws.write(0, 0, "第一行,第一列")
ws.write(0, 1, "第一行,第二列")
ws.write(0, 2, "第一行,第三列")
ws.write(1, 0, "第二行,第一列")
ws.write(1, 1, "第二行,第二列")
ws.write(1, 2, "第二行,第三列")
# 另存為excel檔案,並將檔案命名
new_excel.save("new_fileName.xls")
結語:我建議試試vba程式設計?