回覆列表
  • 1 # 運維的榕樹

    python處理excel 方式比對:

    1.優選openpyxl,因為使用openpyxl可以在操作excel的時候,可以同時對原文件進行修改儲存。侷限性是,openpyxl只能操作xlsx進行操作,不能直接操作xls格式。但是,xls可以透過win32client轉換為xlsx格式,問題就解決了。

    2.xlrd可以直接讀取xls格式,但是需要使用xlwd才能修改,但是xlwd在操作原文件有侷限,無法像openpyxl那樣直接操作原文件。但是,如果不需要直接修改原文件,xlrd讀取excel優勢是比較直觀、易操作的。

    3.如果只是直接分析excel,pandas是不錯的選擇。但是學習pandas 操作excel的學習成本大於前面兩種方式,獲得的分析效率也更高,例如pandas排序、篩選都可以一個語句就解決,這是openpyxl和xlrd無法獲得的。

    就目前pc處理效能考慮,上述方式操作10萬級資料的操作,都可以輕鬆處理,不存在效率問題。因此,選用那個方式,需要根據具體的操作需求決定。

  • 2 # 小小猿愛嘻嘻

    這個就非常多啦,Python針對Excel操作提供了非常多的模組和函式,可以很輕鬆的完成對Excel的讀寫,下面我簡單介紹3種比較常見的方法,分別是xlrd/xlwt、openpyxl和pandas,感興趣的朋友可以嘗試一下:

    xlrd/xlwt

    這是Python操作Excel最基本的2個模組,比較簡單也比較基礎,xlrd專門用於讀取Excel,xlwt專門用於寫入Excel,安裝的話,直接輸入命令“pip install xlrd xlwt”即可,下面我簡單介紹一下這2個模組的使用:

    讀取Excel

    測試程式碼如下,基本思想先開啟一個Excel檔案,然後獲取一個sheet工作簿,最後再直接讀取行、列、單元格即可:

    寫入Excel

    測試程式碼如下,基本思想先新建一個Excel檔案,然後新增一個sheet工作表,最後再直接將資料寫入對應行、列、單元格即可,這裡支援樣式的設定,包括黑體、斜體、下劃線等,也可以進行單元格的合併:

    openpyxl

    這也是Python一個比較常見的Excel處理模組,基本功能和使用方式與xlrd/xlw類似,同時支援Excel檔案讀寫,使用起來也非常容易,安裝的話,直接輸入命令“pip install openpyxl”即可,下面我簡單介紹一下這個模組的使用:

    讀取Excel

    測試程式碼下,基本思想先打一個Excel檔案,然後根據表名定位到對應工作簿,最後再直接讀取行、列、單元格內容即可:

    寫入Excel

    測試程式碼如下,基本思想也是先新建一個Excel檔案,然後新增一個工作簿,最後再直接將資料寫入行、列、單元格即可,這裡支援樣式設定、圖片新增、單元格合併等基本操作,非常方便:

    pandas

    這是Python一個非常著名的資料處理模組,內建了大量函式和型別,可以很輕鬆的完成對Excel檔案的處理,安裝的話,直接輸入命令“pip install pandas”即可,下面我簡單介紹一下這個模組的使用:

    讀取Excel

    測試程式碼如下,直接使用read_excel函式即可,返回值型別為DataFrame,類似一個二維表格,可以直接按行、按列獲取資料,非常容易:

    寫入Excel

    測試程式碼如下,新建一個DataFrame物件,傳輸需要寫入的Excel資料,然後直接呼叫to_excel函式即可儲存為一個Excel檔案:

    至此,我們就完成了利用Python來處理Excel檔案。總的來說,這3種方法都非常簡單,只要你有一定的Python基礎,熟悉一下相關文件和示例,多除錯幾遍程式,很快就能掌握的,當然,還有許多其他Excel處理模組,像xlwings等,也都非常不錯,網上也有相關教程和資料,介紹的非常詳細,感興趣的話,可以搜一下,希望以上分享的內容能對你有所幫助吧,也歡迎大家評論、留言進行補充。

  • 3 # 52sissi

      在有關大資料分析Python API的本教程中,我們將學習如何從遠端網站檢索資料以進行資料科學專案。像baidu,Twitter和Facebook之類的網站都透過其應用程式程式設計介面(API)向程式設計師提供某些資料。要使用API,你需要向遠端Web伺服器發出請求,然後檢索所需的資料。

      但是,為什麼要使用API而不是可以下載的靜態資料集呢?API在以下情況下很有用:

      a.資料變化很快。股票價格資料就是一個例子。重新生成資料集並每分鐘下載一次並沒有實際意義-這會佔用大量頻寬,而且速度很慢。

      c.涉及重複計算。Spotify的API可以告訴您音樂的流派。從理論上講,您可以建立自己的分類器,並使用它對音樂進行分類,但您將永遠不會擁有Spotify所擁有的資料。

      在上述情況下,API是正確的解決方案。對於本資料科學教程,我們將查詢一個簡單的API,以檢索有關國際空間站(ISS)的資料。使用API可以節省我們自己進行所有計算的時間和精力。

      大資料分析Python中的API請求

      API託管在Web伺服器上。當您www.google.com在瀏覽器的位址列中鍵入內容時,您的計算機實際上是在向www.google.com伺服器詢問網頁,然後該網頁返回到您的瀏覽器。

      API的工作方式幾乎相同,除了您的程式要求資料而不是您的Web瀏覽器詢問網頁之外。這些資料通常以JSON格式返回(有關更多資訊,請參閱有關使用JSON資料的教程)。

      為了獲取資料,我們向Web伺服器發出請求。然後,伺服器將回復我們的資料。在大資料分析Python中,我們將使用請求庫來執行此操作。在此大資料分析Python API教程中,我們將為所有示例使用大資料分析Python 3.4。

      請求型別

      有許多不同型別的請求。最常用的一個GET請求用於檢索資料。

      我們可以使用一個簡單的GET請求從OpenNotify API 檢索資訊。

      OpenNotify具有多個API端點。端點是用於從API檢索不同資料的伺服器路由。例如,/commentsReddit API上的端點可能會檢索有關注釋的資訊,而/users端點可能會檢索有關使用者的資料。要訪問它們,您可以將端點新增到API 的基本URL中。

      我們將在OpenNotify上看到的第一個端點是iss-now.json端點。該端點獲取國際空間站的當前緯度和經度。如您所見,檢索此資料不適用於資料集,因為它涉及伺服器上的一些計算,並且變化很快。

      您可以在此處檢視OpenNotify上所有端點的列表。

      OpenNotify API 的基本網址是http://api.open-notify.org,因此我們將其新增到所有端點的開頭。

      狀態碼

      我們剛剛發出的請求的狀態碼為200。向Web伺服器發出的每個請求都返回狀態程式碼。狀態程式碼指示有關請求發生的情況的資訊。以下是與GET請求相關的一些程式碼:

      a)200 -一切正常,結果已返回(如果有)

      b)301—伺服器正在將您重定向到其他端點。當公司切換域名或更改端點名稱時,可能會發生這種情況。

      d)400-伺服器認為您提出了錯誤的請求。當您沒有正確傳送資料時,可能會發生這種情況。

      e)403 —您嘗試訪問的資源被禁止—您沒有正確的許可權檢視它。

      f)404 -在伺服器上找不到您嘗試訪問的資源。

      現在http://api.open-notify.org/iss-pass,根據API文件,向不存在的端點發出GET請求。

      擊中正確的終點

      iss-pass不是有效的端點,因此我們得到了一個404狀態碼作為相應。.json正如API文件所述,我們忘記在最後新增。

      現在,我們將向發出GET請求http://api.open-notify.org/iss-pass.json。

      查詢引數

      您將在上一個示例中看到,我們得到了一個400狀態碼,表示請求錯誤。如果您檢視OpenNotify API的文件,我們會發現ISS Pass端點需要兩個引數。

      當ISS下次透過地球上的給定位置時,將返回ISS Pass端點。為了對此進行計算,我們需要將位置的座標傳遞給API。為此,我們傳遞了兩個引數-緯度和經度。

      為此,我們可以在params請求中新增可選的關鍵字引數。在這種情況下,我們需要傳遞兩個引數:

      1)lat —我們想要的位置的緯度。

      2)lon —我們想要的位置的經度。

      我們可以使用這些引數製作字典,然後將它們傳遞給requests.get函式。

      我們還可以透過將查詢引數新增到url中來直接做同樣的事情,如下所示:http://api.open-notify.org/iss-pass.json?lat=40.71&lon=-74。

      將引數設定為字典幾乎總是可取的,因為requests它可以處理一些事情,例如正確設定查詢引數的格式。

      我們將使用紐約市的座標進行請求,然後檢視得到的答覆。

      b"{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 330, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}"

      b"{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 329, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}"

      使用JSON資料

      您可能已經注意到,響應的內容之前是a string(儘管它顯示為bytes物件,但是我們可以使用輕鬆地將內容轉換為字串response.content.decode("utf-8"))。

      字串是我們將資訊來回傳遞給API的方式,但是很難從字串中獲取我們想要的資訊。我們如何知道如何解碼返回的字串並在大資料分析Python中使用它?我們如何altitude從字串響應中找出ISS的含義?

      幸運的是,有一種名為JavaScript Object Notation(JSON)的格式。JSON是一種將列表和字典之類的資料結構編碼為字串的方法,以確保它們易於被機器讀取。JSON是將資料來回傳遞給API的主要格式,大多數API伺服器將以JSON格式傳送其響應。

      json套件隨附大資料分析Python強大的JSON支援。該json軟體包是標準庫的一部分,因此我們無需安裝任何程式即可使用它。我們既可以將列表和字典轉換為JSON,也可以將字串轉換為列表和字典。就我們的ISS Pass資料而言,它是一個字典,編碼為JSON格式的字串。

      json庫有兩種主要方法:

      1)dumps —接收一個大資料分析Python物件,並將其轉換為字串。

      2)loads —接收JSON字串,並將其轉換為大資料分析Python物件。

      從API請求獲取JSON

      透過使用.json()響應上的方法,您可以將響應的內容作為大資料分析Python物件獲取。

      {"response": [{"risetime": 1441456672, "duration": 369}, {"risetime": 1441462284, "duration": 626}, {"risetime": 1441468104, "duration": 581}, {"risetime": 1441474000, "duration": 482}, {"risetime": 1441479853, "duration": 509}], "message": "success", "request": {"latitude": 37.78, "passes": 5, "longitude": -122.41, "altitude": 100, "datetime": 1441417753}}

      內容型別

      伺服器不僅會在生成響應時傳送狀態碼和資料。它還發送包含有關如何生成資料以及如何對其進行解碼的資訊的元資料。這儲存在響應頭中。在大資料分析Python中,我們可以使用headers響應物件的屬性來訪問它。

      標頭將顯示為字典。在標題中,content-type是目前最重要的鍵。它告訴我們響應的格式以及如何對其進行解碼。大資料分析Python API入門教程https://www.aaa-cg.com.cn/data/2308.html對於OpenNotify API,格式為JSON,這就是為什麼我們可以json更早地使用包對其進行解碼的原因。

      尋找太空中的人數

      OpenNotify還有一個API端點astros.json。它告訴你當前有多少人在太空中。相應的格式可以在這裡找到。

      9

      {"number": 9, "people": [{"name": "Gennady Padalka", "craft": "ISS"}, {"name": "Mikhail Kornienko", "craft": "ISS"}, {"name": "Scott Kelly", "craft": "ISS"}, {"name": "Oleg Kononenko", "craft": "ISS"}, {"name": "Kimiya Yui", "craft": "ISS"}, {"name": "Kjell Lindgren", "craft": "ISS"}, {"name": "Sergey Volkov", "craft": "ISS"}, {"name": "Andreas Mogensen", "craft": "ISS"}, {"name": "Aidyn Aimbetov", "craft": "ISS"}], "message": "success"}

      大資料分析Python API資料科學教程:後續步驟

      建議的其他後續步驟是閱讀請求文件,並使用Reddit API。有一個名為PRAW 的程式包,它使在大資料分析Python中使用Reddit API更加容易,但是建議requests首先使用它來了解一切的工作原理。

    https://www.toutiao.com/i6832146415016215043/

  • 中秋節和大豐收的關聯?
  • 不能用來區分乙酸、乙醇、苯的物質是?