1. 概述
真是應了那句話,千里之行始於足下,全球谷歌衛星地圖資料下載專案從2019年7月至今,歷時半年之久,現在終於全部下載完成了!現在我把一些經驗和心得與大家進行分享。
2. 下載全球衛星影像資料的前因後果由於有眾多客戶(主要是涉密單位)對全球資料有需求,都希望可以建立一個離線檢視的本地谷歌地球,我們大概在三年前就啟動了全球資料下載計劃但卻一直無果而終。原因有很多,任務分配太多導致資料混亂,中途被其它事情打斷擱置等等。但最主要的原因,可能還是專案負責人的問題,雖然看起來很努力卻一直沒有把這個事做好。
全球資料
直到去年7月份,我才決定親自著手此事,其實當時我也在犯嘀咕,該專案只是我眾多工作中的一項,我是否有這個精力兼顧呢?全球資料這麼大,要下載到何年何月呢?再加上以前下載的資料十分凌亂,在梳理過程中還發現很多資料存在錯誤,居然有根本沒有下載完就入庫的情況,一時間還真不知道該如何辦才好。看著已經接近下載了一半的資料,該繼續整理還是從頭再來?這著實是一個難以取捨的問題。
後來乾脆花了兩天時間進行了專門的下載測試,發現下載速度其實比想像的快很多,再根據需要下載的檔案數與資料量大小進行了充分的估算之後,覺得下載全球資料應該沒有想像那麼難,也應該花不到太長的時間。於是,最後下定決心從頭開始!
以前下載全球資料時,是負責開發的同事用程式碼一次性生成好了所有任務,再分別分配到每一臺電腦。由於該工作不需要全天候職守,且下載資料的電腦比較多,一旦記錄沒有作仔細,原本簡單的事稍不留神就會讓資料混亂。基於上述原因,我這次不採用同事生成好的任務,而是每一組任務都自己手動建立,且只用四臺電腦下載。這樣的工作方式看起來慢實則最快,這種笨辦法可以讓每臺電腦下載資料的情況心中有數,正所謂欲速則不達!
3. 全球資料引數與概況這裡下載的全球資料,資料來源為谷歌地球,座標投影為WGS84經緯度投影,無偏移無水印。資料級別為1到19級,一共73.9TB大小,如下圖所示。
全球資料共分為6個資料夾,其中"World_L2_10"是儲存的全於2到10級影像資料,其它五個資料夾為全於10-19級影像資料,一共分成了5部分,如下圖所示。
資料共分6組
全球資料的每一個檔案分塊由一組DAT和IDX組成,通過搜尋DAT檔案可以檢索出所有的影像資料分塊檔案。全球資料檔案基於第10級瓦片為金字塔塔尖對10到19級進行分塊,一共131072個塊,再加上2到10級以內的兩個分塊,一共131074個分塊檔案,如下圖所示。
共131074個檔案分塊
2到10級以內的資料分塊檔名稱分別為"2_1_1"和"2_2_1",10到19級檔案分塊從"10_1_1"開始,如下圖所示。
按檔名稱排序的起始位置
檔案"2_1_1"和"2_2_1"對應2到10級影像分塊,如下圖所示。
第2到10級分塊
檔案"10_1_1"對應基於全球左上角的瓦片分塊,如下圖所示。
第10到19給分塊左上角為起始位置
10到19級檔案分塊到"10_512_256"結束,如下圖所示。
按檔名稱排序的結束位置
檔案"10_512_256"對應基於全球左上角的瓦片分塊,如下圖所示。
第10到19給分塊右下角結束位置
將所有檔案按下載完成時間進行排序,最早完成時間為2019年7月14日12點23分,如下圖所示。
按下載完成時間排序的起始位置
最晚完成下載的時間為2020年2月20日22點41分,如下圖所示。
按下載完成時間排序的結束位置
將所有檔案按大小進行排序,最小的影像只有1KB,這種資料非常小的檔案主要分佈在南北級基本無影像資料的區域。
按檔案大小排序的起始位置
最大的資料達8G之多,如下圖所示。
按檔案大小排序的結束位置
其中,檔案"10_108_84"是全球資料中最大的分塊,一共8.33GB,如下圖所示。
5. 總結最後,如果你有需要,我們也可以為你提供全球離線二三維GIS系統的解決方案。接下來,我們將用同樣的方法,計劃下載全國以及全球1-21級資料,這是一個更有挑戰性的工程,也希望有朝一日能順利完成!
-
1 #
-
2 #
他們就是賣這個的 特貴 幾十萬 還不包更新
-
3 #
好奇谷歌阿里這些的伺服器硬碟到底多大,還由那些視訊網站的
-
4 #
這個資料人家有版權,你拿去賣錢等著成被告吧。
-
5 #
谷歌不是被遮蔽了嗎
-
6 #
你們是不是賣了這個圖源?
-
7 #
首先我的有硬碟裝得下,我還是關機睡覺吧
-
8 #
70多T不大啊,一個8盤的陣列櫃就行,現在硬碟都12T了
-
9 #
他們是專門賣影像圖的還挺貴
然而衛星圖有更新。花那麼久下這麼多沒半年估計就有更新了。還是轉發服務方便。