介紹
ProtoBuf 是google團隊開發的用於高效儲存和讀取結構化資料的工具。什麼是結構化資料呢,正如字面上表達的,就是帶有一定結構的資料。比如電話簿上有很多記錄資料,每條記錄包含姓名、ID、郵件、電話等,這種結構重複出現。
同類
XML、JSON 也可以用來儲存此類結構化資料,但是使用ProtoBuf表示的資料能更加高效,並且將資料壓縮得更小。
原理
ProtoBuf 是透過ProtoBuf編譯器將與程式語言無關的特有的 .proto 字尾的資料結構檔案編譯成各個程式語言(Java,C/C++,Python)專用的類檔案,然後透過Google提供的各個程式語言的支援庫lib即可呼叫API。(關於proto結構體怎麼編寫,可自行查閱文件)
ProtoBuf編譯器安裝
Mac : brew install protobuf
舉個例子
1.先建立一個proto檔案message.proto
syntax = "proto3";message Person { int32 id = 1; string name = 2; repeated Phone phone = 4; enum PhoneType { MOBILE = 0; HOME = 1; WORK = 2; } message Phone { string number = 1; PhoneType type = 2; }}
2.建立一個Java專案並且將proto檔案放置 src/main/proto 資料夾下
3.編譯proto檔案至Java版本用命令列 cd 到 src/main 目錄下
終端執行命令 : protoc --java_out=./java ./proto/*.proto
會發現,在你的src/main/java 裡已經生成裡對應的Java類
4.依賴Java版本的ProtoBuf支援庫這裡只舉一個用Gradle使用依賴的栗子
implementation 'com.google.protobuf:protobuf-java:3.9.1'
5.將Java物件轉為ProtoBuf資料
Message.Person.Phone.Builder phoneBuilder = Message.Person.Phone.newBuilder();Message.Person.Phone phone1 = phoneBuilder .setNumber("100860") .setType(Message.Person.PhoneType.HOME) .build();Message.Person.Phone phone2 = phoneBuilder .setNumber("100100") .setType(Message.Person.PhoneType.MOBILE) .build();Message.Person.Builder personBuilder = Message.Person.newBuilder();personBuilder.setId(1994);personBuilder.setName("XIAOLEI");personBuilder.addPhone(phone1);personBuilder.addPhone(phone2);Message.Person person = personBuilder.build();long old = System.currentTimeMillis();byte[] buff = person.toByteArray();System.out.println("ProtoBuf 編碼耗時:" + (System.currentTimeMillis() - old));System.out.println(Arrays.toString(buff));System.out.println("ProtoBuf 資料長度:" + buff.length);
6.將ProtoBuf資料,轉換回Java物件
System.out.println("-開始解碼-");old = System.currentTimeMillis();Message.Person personOut = Message.Person.parseFrom(buff);System.out.println("ProtoBuf 解碼耗時:" + (System.currentTimeMillis() - old));System.out.printf("Id:%d, Name:%s\n", personOut.getId(), personOut.getName());List<Message.Person.Phone> phoneList = personOut.getPhoneList();for (Message.Person.Phone phone : phoneList){ System.out.printf("手機號:%s (%s)\n", phone.getNumber(), phone.getType());}
比較
為了能體現ProtoBuf的優勢,我寫了同樣結構體的Java類,並且將Java物件轉換成JSON資料,來與ProtoBuf進行比較。JSON編譯庫使用Google提供的GSON庫,JSON的部分程式碼就不貼出來了,直接展示結果
比較結果結果
執行 1 次
【 JSON 開始編碼 】JSON 編碼1次,耗時:22msJSON 資料長度:106-開始解碼-JSON 解碼1次,耗時:1ms【 ProtoBuf 開始編碼 】ProtoBuf 編碼1次,耗時:32msProtoBuf 資料長度:34-開始解碼-ProtoBuf 解碼1次,耗時:3ms
執行 10 次
【 JSON 開始編碼 】JSON 編碼10次,耗時:22msJSON 資料長度:106-開始解碼-JSON 解碼10次,耗時:4ms【 ProtoBuf 開始編碼 】ProtoBuf 編碼10次,耗時:29msProtoBuf 資料長度:34-開始解碼-ProtoBuf 解碼10次,耗時:3ms
執行 100 次
【 JSON 開始編碼 】JSON 編碼100次,耗時:32msJSON 資料長度:106-開始解碼-JSON 解碼100次,耗時:8ms【 ProtoBuf 開始編碼 】ProtoBuf 編碼100次,耗時:31msProtoBuf 資料長度:34-開始解碼-ProtoBuf 解碼100次,耗時:4ms
執行 1000 次
【 JSON 開始編碼 】JSON 編碼1000次,耗時:39msJSON 資料長度:106-開始解碼-JSON 解碼1000次,耗時:21ms【 ProtoBuf 開始編碼 】ProtoBuf 編碼1000次,耗時:37msProtoBuf 資料長度:34-開始解碼-ProtoBuf 解碼1000次,耗時:8ms
執行 1萬 次
【 JSON 開始編碼 】JSON 編碼10000次,耗時:126msJSON 資料長度:106-開始解碼-JSON 解碼10000次,耗時:93ms【 ProtoBuf 開始編碼 】ProtoBuf 編碼10000次,耗時:49msProtoBuf 資料長度:34-開始解碼-ProtoBuf 解碼10000次,耗時:23ms
執行 10萬 次
【 JSON 開始編碼 】JSON 編碼100000次,耗時:248msJSON 資料長度:106-開始解碼-JSON 解碼100000次,耗時:180ms【 ProtoBuf 開始編碼 】ProtoBuf 編碼100000次,耗時:51msProtoBuf 資料長度:34-開始解碼-ProtoBuf 解碼100000次,耗時:58ms
總結
編解碼效能上述栗子只是簡單的取樣,實際上據我的實驗發現
次數在1千以下,ProtoBuf 的編碼與解碼效能,都與JSON不相上下,甚至還有比JSON差的趨勢。次數在2千以上,ProtoBuf的編碼解碼效能,都比JSON高出很多。次數在10萬以上,ProtoBuf的編解碼效能就很明顯了,遠遠高出JSON的效能。記憶體佔用ProtoBuf的記憶體34,而JSON到達106 ,ProtoBuf的記憶體佔用只有JSON的1/3.
結尾
其實這次實驗有很多可待最佳化的地方,就算是這種粗略的測試,也能看出來ProtoBuf的優勢。
相容
新增欄位
在proto檔案中新增 nickname 欄位生成Java檔案用老proto位元組陣列資料,轉換成物件Id:1994, Name:XIAOLEI手機號:100860 (HOME)手機號:100100 (MOBILE)getNickname=
結果,是可以轉換成功。
在proto檔案中刪除 name 欄位生成Java檔案用老proto位元組陣列資料,轉換成物件Id:1994, Name:null手機號:100860 (HOME)手機號:100100 (MOBILE)
結果,是可以轉換成功。