在有關大資料分析Python API的本教程中，我們將學習如何從遠端網站檢索資料以進行資料科學專案。像baidu，Twitter和Facebook之類的網站都透過其應用程式程式設計介面(API)向程式設計師提供某些資料。要使用API，你需要向遠端Web伺服器發出請求，然後檢索所需的資料。

　　但是，為什麼要使用API而不是可以下載的靜態資料集呢?API在以下情況下很有用：

　　a.資料變化很快。股票價格資料就是一個例子。重新生成資料集並每分鐘下載一次並沒有實際意義-這會佔用大量頻寬，而且速度很慢。

　　c.涉及重複計算。Spotify的API可以告訴您音樂的流派。從理論上講，您可以建立自己的分類器，並使用它對音樂進行分類，但您將永遠不會擁有Spotify所擁有的資料。

　　在上述情況下，API是正確的解決方案。對於本資料科學教程，我們將查詢一個簡單的API，以檢索有關國際空間站(ISS)的資料。使用API可以節省我們自己進行所有計算的時間和精力。

　　大資料分析Python中的API請求

　　API託管在Web伺服器上。當您www.google.com在瀏覽器的位址列中鍵入內容時，您的計算機實際上是在向www.google.com伺服器詢問網頁，然後該網頁返回到您的瀏覽器。

　　API的工作方式幾乎相同，除了您的程式要求資料而不是您的Web瀏覽器詢問網頁之外。這些資料通常以JSON格式返回(有關更多資訊，請參閱有關使用JSON資料的教程)。

　　為了獲取資料，我們向Web伺服器發出請求。然後，伺服器將回復我們的資料。在大資料分析Python中，我們將使用請求庫來執行此操作。在此大資料分析Python API教程中，我們將為所有示例使用大資料分析Python 3.4。

　　請求型別

　　有許多不同型別的請求。最常用的一個GET請求用於檢索資料。

　　我們可以使用一個簡單的GET請求從OpenNotify API 檢索資訊。

　　OpenNotify具有多個API端點。端點是用於從API檢索不同資料的伺服器路由。例如，/commentsReddit API上的端點可能會檢索有關注釋的資訊，而/users端點可能會檢索有關使用者的資料。要訪問它們，您可以將端點新增到API 的基本URL中。

　　我們將在OpenNotify上看到的第一個端點是iss-now.json端點。該端點獲取國際空間站的當前緯度和經度。如您所見，檢索此資料不適用於資料集，因為它涉及伺服器上的一些計算，並且變化很快。

　　您可以在此處檢視OpenNotify上所有端點的列表。

　　OpenNotify API 的基本網址是http://api.open-notify.org，因此我們將其新增到所有端點的開頭。

　　狀態碼

　　我們剛剛發出的請求的狀態碼為200。向Web伺服器發出的每個請求都返回狀態程式碼。狀態程式碼指示有關請求發生的情況的資訊。以下是與GET請求相關的一些程式碼：

　　a)200 -一切正常，結果已返回(如果有)

　　b)301—伺服器正在將您重定向到其他端點。當公司切換域名或更改端點名稱時，可能會發生這種情況。

　　d)400-伺服器認為您提出了錯誤的請求。當您沒有正確傳送資料時，可能會發生這種情況。

　　e)403 —您嘗試訪問的資源被禁止—您沒有正確的許可權檢視它。

　　f)404 -在伺服器上找不到您嘗試訪問的資源。

　　現在http://api.open-notify.org/iss-pass，根據API文件，向不存在的端點發出GET請求。

　　擊中正確的終點

　　iss-pass不是有效的端點，因此我們得到了一個404狀態碼作為相應。.json正如API文件所述，我們忘記在最後新增。

　　現在，我們將向發出GET請求http://api.open-notify.org/iss-pass.json。

　　查詢引數

　　您將在上一個示例中看到，我們得到了一個400狀態碼，表示請求錯誤。如果您檢視OpenNotify API的文件，我們會發現ISS Pass端點需要兩個引數。

　　當ISS下次透過地球上的給定位置時，將返回ISS Pass端點。為了對此進行計算，我們需要將位置的座標傳遞給API。為此，我們傳遞了兩個引數-緯度和經度。

　　為此，我們可以在params請求中新增可選的關鍵字引數。在這種情況下，我們需要傳遞兩個引數：

　　1)lat —我們想要的位置的緯度。

　　2)lon —我們想要的位置的經度。

　　我們可以使用這些引數製作字典，然後將它們傳遞給requests.get函式。

　　我們還可以透過將查詢引數新增到url中來直接做同樣的事情，如下所示：http://api.open-notify.org/iss-pass.json?lat=40.71&lon=-74。

　　將引數設定為字典幾乎總是可取的，因為requests它可以處理一些事情，例如正確設定查詢引數的格式。

　　我們將使用紐約市的座標進行請求，然後檢視得到的答覆。

　　b"{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 330, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}"

　　b"{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 329, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}"

　　使用JSON資料

　　您可能已經注意到，響應的內容之前是a string(儘管它顯示為bytes物件，但是我們可以使用輕鬆地將內容轉換為字串response.content.decode("utf-8"))。

　　字串是我們將資訊來回傳遞給API的方式，但是很難從字串中獲取我們想要的資訊。我們如何知道如何解碼返回的字串並在大資料分析Python中使用它?我們如何altitude從字串響應中找出ISS的含義?

　　幸運的是，有一種名為JavaScript Object Notation(JSON)的格式。JSON是一種將列表和字典之類的資料結構編碼為字串的方法，以確保它們易於被機器讀取。JSON是將資料來回傳遞給API的主要格式，大多數API伺服器將以JSON格式傳送其響應。

　　json套件隨附大資料分析Python強大的JSON支援。該json軟體包是標準庫的一部分，因此我們無需安裝任何程式即可使用它。我們既可以將列表和字典轉換為JSON，也可以將字串轉換為列表和字典。就我們的ISS Pass資料而言，它是一個字典，編碼為JSON格式的字串。

　　json庫有兩種主要方法：

　　1)dumps —接收一個大資料分析Python物件，並將其轉換為字串。

　　2)loads —接收JSON字串，並將其轉換為大資料分析Python物件。

　　從API請求獲取JSON

　　透過使用.json()響應上的方法，您可以將響應的內容作為大資料分析Python物件獲取。

　　{"response": [{"risetime": 1441456672, "duration": 369}, {"risetime": 1441462284, "duration": 626}, {"risetime": 1441468104, "duration": 581}, {"risetime": 1441474000, "duration": 482}, {"risetime": 1441479853, "duration": 509}], "message": "success", "request": {"latitude": 37.78, "passes": 5, "longitude": -122.41, "altitude": 100, "datetime": 1441417753}}

　　內容型別

　　伺服器不僅會在生成響應時傳送狀態碼和資料。它還發送包含有關如何生成資料以及如何對其進行解碼的資訊的元資料。這儲存在響應頭中。在大資料分析Python中，我們可以使用headers響應物件的屬性來訪問它。

　　標頭將顯示為字典。在標題中，content-type是目前最重要的鍵。它告訴我們響應的格式以及如何對其進行解碼。大資料分析Python API入門教程https://www.aaa-cg.com.cn/data/2308.html對於OpenNotify API，格式為JSON，這就是為什麼我們可以json更早地使用包對其進行解碼的原因。

　　尋找太空中的人數

　　OpenNotify還有一個API端點astros.json。它告訴你當前有多少人在太空中。相應的格式可以在這裡找到。

　　9

　　{"number": 9, "people": [{"name": "Gennady Padalka", "craft": "ISS"}, {"name": "Mikhail Kornienko", "craft": "ISS"}, {"name": "Scott Kelly", "craft": "ISS"}, {"name": "Oleg Kononenko", "craft": "ISS"}, {"name": "Kimiya Yui", "craft": "ISS"}, {"name": "Kjell Lindgren", "craft": "ISS"}, {"name": "Sergey Volkov", "craft": "ISS"}, {"name": "Andreas Mogensen", "craft": "ISS"}, {"name": "Aidyn Aimbetov", "craft": "ISS"}], "message": "success"}

　　大資料分析Python API資料科學教程：後續步驟

　　建議的其他後續步驟是閱讀請求文件，並使用Reddit API。有一個名為PRAW 的程式包，它使在大資料分析Python中使用Reddit API更加容易，但是建議requests首先使用它來了解一切的工作原理。

https://www.toutiao.com/i6832146415016215043/

開啟Excel的code模式，Ctrl+c+m，選擇你的開發語言，目前支援Java，Python，Scala，c等主流語言，具有良好的程式碼提示功能，具體功能還要自己上手操作。