IM通訊協議專題學習(六)：手把手教你如何在Android上從零使用Protobuf

Posted on 2023-03-09 14:30 Jack Jiang 閱讀(89) 評論(0) 編輯收藏

1、前言

最近我負責的 LiveChat 客服聊天系統到了自研階段，任務類似于做一個騰訊云IM這樣的通信層SDK。在和后臺進行技術選型討論后，確定了數據傳輸層協議格式使用 Protobuf。

本文基于我對Protobuf在Android端的實際使用心得，手把手教你如何在Android端IM產品中使用Protobuf，希望對你有幫助。

學習交流：

- 移動端IM開發入門文章：《新手入門一篇就夠：從零開發移動端IM》
- 開源IM框架源碼：https://github.com/JackJiang2011/MobileIMSDK（備用地址點此）

（本文已同步發布于：http://www.52im.net/thread-4135-1-1.html）

2、系列文章

本文是系列文章中的第 6 篇，總目錄如下：

《IM通訊協議專題學習(一)：Protobuf從入門到精通，一篇就夠！》
《IM通訊協議專題學習(二)：快速理解Protobuf的背景、原理、使用、優缺點》
《IM通訊協議專題學習(三)：由淺入深，從根上理解Protobuf的編解碼原理》
《IM通訊協議專題學習(四)：從Base64到Protobuf，詳解Protobuf的數據編碼原理》
《IM通訊協議專題學習(五)：Protobuf到底比JSON快幾倍？全方位實測！》
《IM通訊協議專題學習(六)：手把手教你如何在Android上從零使用Protobuf》（* 本文）
《IM通訊協議專題學習(七)：手把手教你如何在NodeJS中從零使用Protobuf》
《IM通訊協議專題學習(八)：金蝶隨手記團隊的Protobuf應用實踐(原理篇)》
《IM通訊協議專題學習(九)：手把手教你如何在iOS上從零使用Protobuf》

3、Protobuf 介紹

Protobuf的全稱是Protocol Buffers，它是 Google 推出的一種與平臺無關、語言無關、可擴展的輕便高效的序列化數據存儲格式，類似于我們常用的 xml 和 json。

一個疑問：既然有了 XML 和 JSON，Google 為啥還要推出 Protobuf 呢？

存在即是合理，Protobuf 的優勢用兩個字總結就是：小、快。

相同的數據內容，用 Protobuf 序列化后的大小是 JSON 的十分之一，是 XML 格式的二十分之一，而且性能是他們的 5～100 倍。

通常情況下，我們使用 XML 或者 JSON 進行數據通信是沒什么問題的，但是在性能優化的場景下，如果有辦法壓縮數據量、提高傳輸效率，顯然會給用戶帶來更快更流暢的體驗。因此我在做 LiveChat 自研技術選型時，Protobuf 成為了我們進行數據傳輸協議格式的第一選擇。

4、Protobuf 環境配置

4.1概述

介紹兩種安裝 Protobuf 的方式：

1）Github 下載 Protobuf 并安裝；
2）brew 安裝。

4.2Github 下載 Protobuf 并安裝

Protobuf 版本盡量保持前后臺一致，這里是后臺和我約定的一個版本（點此下載）。

1）根據自己的系統選擇相應的 zip 包：

以我下載的為例，解壓后結構如下：

可以看到 bin 目錄下有個 protoc 的可執行文件。

我們給它配置一下環境變量就可以使用了（以我的為例）：

# protobuf 環境變量
exportPROTOBUF_HOME=/Users/zhouying/Downloads/protoc-3.19.2-osx-x86_64
exportPATH=${PATH}:${PROTOBUF_HOME}/bin

配置好后，使用 protoc --version 命令驗證：

可以看到打印出了版本，證明我們安裝成功了。

4.3brew 安裝

直接使用以下命令就可以一鍵安裝或卸載：

//一鍵安裝 protobuf
brew installprotobuf

//一鍵卸載 protobuf
brew uninstall protobuf

PS：這種方式只適用于 Mac 系統，而且安裝的 protobuf 為最新版本，因此如果想要使用指定的版本，建議使用上小節里的Github下載安裝這種方式。

5、使用 IDE 創建 Protobuf 文件

這里我使用的 IDE 是 AndroidStudio。如果你還在用Eclipse+ADT開發Android程序，那我也不知道說啥好。

5.1創建一個以 .proto 為后綴的文件

如下圖：

可以看到這個文件前面的 icon 是個文本類型的，而且你在編寫代碼時，沒有任何提示，關鍵字也沒高亮顯示，此時我們需要集成一個插件來支持 Protobuf 的編寫。

5.2集成 Protocol Buffers 插件

當我們集成這個插件后，可以看到文件 icon 和代碼高亮的變化，而且還會有語法提示（如下圖所示）。

ok，接下來我們就可以愉快的編寫 Protobuf 了，但是要怎么寫呢？你是不是還不會 Protobuf 的語法，接著往下看。

6、Protobuf 語法基礎

關于 Protobuf 的語法有很多，限于篇幅，我們這里只講一些常用的（如果有興趣進一步學習的，可以詳讀本系列的前幾篇，比如《Protobuf從入門到精通，一篇就夠！》、《快速理解Protobuf的背景、原理、使用、優缺點》）。

6.1Protobuf 常用關鍵字介紹

PS：在 Proto3 中不支持 required （必須）字段。

6.2Protobuf 基本數據類型

可變長度編碼和固定長度編碼區別：

//例如說我在 Java 里面進行如下定義：
inta = 1;
//因為 int 類型占 4 個字節，1個字節占 8 位，我們把 1 的字節占位給列出來：
00000000000000000000000000000001
//可以看到 1 的前面 3 個字節占位都是 0，在 Protobuf 里面是可以去掉的，于是就變成了：
00000001
//因此 1 在 Protobuf 里面就只占用了一個字節，節省了空間

上面這種就是可變長度編碼。而固定長度編碼就是即使前面的字節占位是 0，也不能去掉，我就是要占這么多字節。

基本數據類型默認值：

6.3消息類型定義

在上面創建的 Protobuf 文件中，定義一個學生，學生有姓名，年齡，郵箱和課程。

我們來實現一下它：

//指定 Protobuf 版本
syntax = "proto3";

//指定包名
package erdai;

//定義一個學生的消息類
message Student{
  //姓名
  string name = 1;
  //年齡
  int32 age = 2;
  //郵箱
  string email = 3;
  //課程
  repeated string course = 4; //相當于 Java 的 List<String>
}

有幾個地方需要注意：

1）一個 Protobuf 文件里面可以添加多個消息類，也可以進行嵌套；
2）上面的 1，2，3，4 并不是給字段賦值，而是給每個字段定義一個唯一的編號（這些編號用于二進制格式中標識你的字段，并且在使用你的消息類型后不應更改）；
3）1-15 的字段編號只占一個字節進行編碼，16-2047 的字段編號占兩個字節，包括字段編號和字段類型，因此建議更多的使用 1-15 的字段編號；
4）可以指定最小字段編號為 1，最大字段編號為 2^29 - 1 或 536870911（另外不能使用 19000-19999 的標識號，因為 protobuf 協議實現對這些進行了預留，同樣也不能使用任何以前保留（reserved）的字段編號）。

6.4Protobuf 枚舉類型

message Weather{
  int32 query = 1;

  //季節
  enum Season{
    //允許對枚舉常量設置別名
    option allow_alias = true;
    //枚舉里面的 = 操作是對常量進行賦值操作
    //春
    SPRING = 0;
    //夏
    SUMMER = 1;
    //秋如果不設置別名，不允許存在兩個相同的值
    FALL = 2;
    AUTUMN = 2;
    //冬
    WINTER = 3;
  }

  //對 season 進行編號
  Season season = 2;
}

有幾個地方需要注意：

1）定義枚舉類型使用 enum 關鍵字；
2）枚舉類型第一個字段的值為必須 0，否則編譯會報錯；
3）枚舉常量值必須在 32 位整型值的范圍內（因為 enum 值是使用可變編碼方式的，對負數不夠高效，因此不推薦在 enum 中使用負數）；
4）枚舉里面的 = 操作是對常量進行賦值操作，而枚舉外面的 = 則是對當前字段進行編號。

6.5Protobuf 集合

repeated string list = 1; //類似 Java 的 List<String>
map<string,string> = 2; //類似 Java 的 Map<String,String>

有幾個地方需要注意：

1）Protobuf 中定義集合，就是在你定義好的屬性前面加 repeated 關鍵字；
2）Protobuf 中定義 map 和 Java 類似，只不過 map 是小寫的。

6.6reserved 保留字段

當我們使用 reserved 關鍵字指定一個字段編號或字段名為保留字段后，我們就不能去使用它，否則編譯器會報錯（如下圖所示）。

ok，簡單的介紹了 Protobuf 語法后，接下來我們使用 AndroidStudio 將 Protobuf 文件轉換為對應的 Java 文件來進行開發。

7、Protobuf 轉 Java 文件

首先我們要明白一點：Protobuf 是一種與平臺，語言無關的數據存儲格式，因此我們要在其它語言如：Java，Kotlin，Dart 等語言中使用它，則必須將 Protobuf 文件轉換為對應平臺的語言文件去使用。

這里我們以轉 Java 文件為例，介紹兩種轉換的方式：

1）集成 Protobuf 插件轉換；
2）使用 protoc 命令行轉換。

在使用這兩種方式轉換前，我們需要先集成 protobuf-java 這個第三方庫，因為我們轉換的 Java 文件中會使用這個庫里面的功能。

在Android Studio的工作配置中集成 protobuf-java：

implementation 'com.google.protobuf:protobuf-java:3.19.2'

最新版本可查看此鏈接：https://github.com/protocolbuffers/protobuf/tree/main/java

7.1集成 Protobuf 插件轉換

插件鏈接是：https://github.com/google/protobuf-gradle-plugin

第一步：在項目的根 build.gradle 文件中，添加如下依賴：

buildscript {
    repositories {
        gradlePluginPortal()
    }
    dependencies {
        classpath 'com.google.protobuf:protobuf-gradle-plugin:0.8.19'
    }
}

第二步：在 app 的 build.gradle 文件中應用插件：

//1、如果使用的是 apply 方式，Android 插件必須在 Protobuf 插件之前，如下：
apply plugin: 'com.android.application'
apply plugin: 'com.google.protobuf'

//2、如果使用的是 Gradle DSL 方式，則與順序無關
plugins {
id'com.google.protobuf'
id'com.android.application'
}

第三步：在 app 的 build.gradle 文件中配置 protobuf 編譯任務：

android {
    //...
}

protobuf {
    //配置 protoc 編譯器
    protoc {
        artifact = 'com.google.protobuf:protoc:3.19.2'
    }
    //配置生成目錄，編譯后會在 build 的目錄下生成對應的java文件
    generateProtoTasks {
        all().each { task ->
            task.builtins {
                remove java
            }
            task.builtins {
                java {}
            }
        }
    }
}

第四步：指定 protobuf 文件所在路徑：

android {
    //...

    sourceSets {
        main {
            //實際測試指不指定無所謂，不影響 Java 文件生成
            proto {
                srcDir 'src/main/proto'
            }
        }
    }
}

經過上面 4 步，我們的插件就算配置完成了，接下來我們測試一下。

以我們上面那個 student.proto 為例，里面的內容如下：

//指定 Protobuf 版本
syntax = "proto3";

//指定包名
package erdai;

//定義一個學生的消息類
message Student{
  //姓名
  string name = 1;
  //年齡
  int32 age = 2;
  //郵箱
  string email = 3;
  //課程
  repeated string course = 4;

}

//定義一個天氣的消息類
message Weather{
  int32 query = 1;

  //季節
  enum Season{
    option allow_alias = true;
    //春
    SPRING = 0;
    //夏
    SUMMER = 1;
    //秋
    FALL = 2;
    AUTUMN = 2;
    //冬
    WINTER = 3;
  }

  Season season = 2;
}

編譯后，會在 app/build/generated/source/proto/ 目錄下生成如下文件：

這種方式會自動給我們生成對應的 Java 類，就是集成的時候麻煩一點。

7.2使用 protoc 命令行轉換

執行如下命令：

protoc --java_out=${"你要生成的 Java 文件目錄"} ${"Protobuf 文件位置"}

//以我的為例：
protoc --java_out=./app/src/main/java ./app/src/main/proto/student.proto

生成的文件：

這種方式的優點是使用非常簡單，但是每一次創建新的 Protobuf 文件都需要執行一下命令。

7.3生成的 Java 文件介紹

關于這個類的內容我簡單介紹下，大家也可以生成后自行看源碼（如下圖）。

接下來簡單進行說明。

1）成的類 StudentOuterClass 有 4 個子類：

Student （實現了 StudentOrBuilder 接口）
Weather （實現了 WeatherOrBuilder 接口）
StudentOrBuilder （接口）
WeatherOrBuilder （接口）

2）Student 是 StudentOuterClass 的靜態內部類，構造方法私有化，需通過 Builder 模式創建對象。另外 Student 提供了屬性的 get 方法，無 set 方法，Builder 作為 Student 的靜態內部類提供了屬性的 get，set，clear方法，clear 就是清空某個屬性回到初始值。

3）Weather 同 2。

8、Protobuf 的使用

接下來我們對剛才生成的 Java 類進行使用。

8.1基本調用

fun main(){
    //構建 Protobuf 對象
    val student = StudentOuterClass.Student.newBuilder()
        .setName("erdai")
        .setAge(18)
        .setEmail("erdai666@qq.com")
        .addAllCourse(mutableListOf("Math", "English", "Computer"))
        .build()
    println(student)
    println()
    println(StudentOuterClass.Weather.Season.SPRING.number)
    println(StudentOuterClass.Weather.Season.SUMMER.number)
    println(StudentOuterClass.Weather.Season.AUTUMN.number)
    println(StudentOuterClass.Weather.Season.WINTER.number)
}

//打印結果
name: "erdai"
age: 18
email: "erdai666@qq.com"
course: "Math"
course: "English"
course: "Computer"

0
1
2
3

8.2序列化和反序列化

fun main(){
    //1、構建 Protobuf 對象
    val student = StudentOuterClass.Student.newBuilder()
        .setName("erdai")
        .setAge(18)
        .setEmail("erdai666@qq.com")
        .addAllCourse(mutableListOf("Math", "English", "Computer"))
        .build()
    //2、序列化并返回一個包含其原始字節的字節數組
    val byteArray: ByteArray = student.toByteArray()
    //3、反序列化從字節數組中解析消息
    val parseStudent: StudentOuterClass.Student = StudentOuterClass.Student.parseFrom(byteArray)
}

9、Protobuf 和 JSON 相互轉換

首先我們需要添加一個第三方依賴：

implementation 'com.google.protobuf:protobuf-java-util:3.19.2'

Protobuf 轉 JSON：

fun main(){
    //1、構建 Protobuf 對象
    val student = StudentOuterClass.Student.newBuilder()
        .setName("erdai")
        .setAge(18)
        .setEmail("erdai666@qq.com")
        .addAllCourse(mutableListOf("Math", "English", "Computer"))
        .build()
    //2、Protobuf 轉 Json
    val json = JsonFormat.printer().print(student)
    //3、打印 json
    println(json)
}

//打印結果
{
  "name": "erdai",
  "age": 18,
  "email": "erdai666@qq.com",
  "course": ["Math", "English", "Computer"]
}

JSON 轉 Protobuf：

fun main(){
    //1、構建 Protobuf 對象
    val student = StudentOuterClass.Student.newBuilder()
        .setName("erdai")
        .setAge(18)
        .setEmail("erdai666@qq.com")
        .addAllCourse(mutableListOf("Math", "English", "Computer"))
        .build()
    //2、Protobuf 對象轉 Json
    val json = JsonFormat.printer().print(student)
    //3、Json 轉 Protobuf 對象
    val builder = StudentOuterClass.Student.newBuilder()
    JsonFormat.parser().ignoringUnknownFields().merge(json,builder)
    //4、打印 Protobuf 對象
    println(builder.build())
}

//打印結果
name: "erdai"
age: 18
email: "erdai666@qq.com"
course: "Math"
course: "English"
course: "Computer"

10、Protobuf 和 Java 對象相互轉換

這個實則是在前述的基礎上，當我們將 Protobuf 轉換為 JSON 后，在把 JSON 轉換為對應的 Java 對象。

這里我們先引入 Gson庫：
implementation 'com.google.code.gson:gson:2.8.9'

PS：類似于fastjson，Gson是Google出品的著名JSON解析庫。

先定義一個接收當前 Json 的數據模型：

data class MyStudent(
    varname: String? = "",
    varage: Int = 0,
    varemail: String? = "",
    varcourse: MutableList<String>? = null
)

最后進行轉換：

fun main(){
    //1、構建 Protobuf 對象
    val student = StudentOuterClass.Student.newBuilder()
        .setName("erdai")
        .setAge(18)
        .setEmail("erdai666@qq.com")
        .addAllCourse(mutableListOf("Math", "English", "Computer"))
        .build()
    //2、將 Protobuf 轉換為 Json
    val json = JsonFormat.printer().print(student)

    //3、將 Json 轉換為 Java Bean 對象
    val myStudent = Gson().fromJson(json,MyStudent::class.java)
    println(myStudent)
}

//打印結果
MyStudent(name=erdai, age=18, email=erdai666@qq.com, course=[Math, English, Computer])