直播系統聊天技術(八)：vivo直播系統中IM消息模塊的架構實踐

Posted on 2022-08-01 12:37 Jack Jiang 閱讀(135) 評論(0) 編輯收藏

本文由vivo互聯網技術團隊LinDu、Li Guolin分享，有較多修訂和改動。

1、引言

IM即時消息模塊是直播系統的重要組成部分，一個穩定、有容錯、靈活的、支持高并發的消息模塊是影響直播系統用戶體驗的重要因素。

本文針對秀場直播，結合我們一年以來通過處理不同的業務線上問題，進行了技術演進式的IM消息模塊架構的升級與調整，并據此進行了技術總結、整理成文，希望借此機會分享給大家。

在目前大部分主流的直播系統中，推拉流是實現直播視頻業務最基本的技術點，IM實時消息技術則是實現觀看直播的所有用戶和主播實現互動的關鍵技術點。

通過直播系統中的IM消息模塊，我們可以完成公屏互動、彩色彈幕、全網送禮廣播、私信、PK等核心秀場直播的功能開發。“IM消息”作為用戶和用戶、用戶和主播之間“溝通”的信息橋梁，如何保證“信息橋梁”的在高并發場景下保持穩定可靠，是直播系統演進過程中一個重要的話題。

學習交流：

- 移動端IM開發入門文章：《新手入門一篇就夠：從零開發移動端IM》
- 開源IM框架源碼：https://github.com/JackJiang2011/MobileIMSDK（備用地址點此）

（本文同步發布于：http://www.52im.net/thread-3994-1-1.html）

2、系列文章

本文是系列文章中的第8篇：

《直播系統聊天技術(一)：百萬在線的美拍直播彈幕系統的實時推送技術實踐之路》
《直播系統聊天技術(二)：阿里電商IM消息平臺，在群聊、直播場景下的技術實踐》
《直播系統聊天技術(三)：微信直播聊天室單房間1500萬在線的消息架構演進之路》
《直播系統聊天技術(四)：百度直播的海量用戶實時消息系統架構演進實踐》
《直播系統聊天技術(五)：微信小游戲直播在Android端的跨進程渲染推流實踐》
《直播系統聊天技術(六)：百萬人在線的直播間實時聊天消息分發技術實踐》
《直播系統聊天技術(七)：直播間海量聊天消息的架構設計難點實踐》
《直播系統聊天技術(八)：vivo直播系統中IM消息模塊的架構實踐》（* 本文）

3、直播消息的技術特征

在直播業務中，有幾個關于消息模型的核心概念，我們先簡單地總結一下，方便大家對直播相關的消息模型有一個整體上的理解。

3.1 實體關系

直播系統消息模塊對應的實體就是主播和觀眾。

主播和觀眾：對于IM系統來說，都是普通用戶，都會有一個唯一用戶標識（用戶ID），它也是IM分發到點對點消息的重要標識。

主播和房間號：一個主播對應一個房間號（RoomId），主播在開播之前，進行身份信息驗證之后，就會綁定唯一的房間號，房間號是IM系統進行直播間消息分發的重要標識。

3.2 消息類型劃分

按照直播業務特性，IM消息劃分的方式有很多方式，例如：

1）按照接收方維度進行劃分；
2）按照直播間消息業務類型進行劃分；
3）按照消息的優先級進行劃分；
4）按照消息的存儲方式進行劃分等等。

按照接收方維度，我們是這樣進行劃分的：

1）點對點消息（單聊消息）；
2）直播間消息（群聊消息）；
3）廣播消息（系統消息）。

按照具體的業務場景，我們是這樣進行劃分的：

1）禮物消息；
2）公屏消息；
3）PK消息；
4）業務通知類消息。

消息能夠實時準確地分發到對應的群體或者單個用戶終端都是非常必要的。

當然，好的IM消息模型也能夠賦能業務一些新的能力，例如：

1）統計每個直播間的實時在線人數；
2）捕獲用戶進出直播間的事件；
3）統計每個用戶實時進入直播間的時間。

3.3 消息優先級

直播系統中的IM消息是有優先級的，這一點是很重要的，與微信、QQ等標準社交聊天IM產品不一樣的地方是：直播間消息是分優先級的。

微信等標準社交IM產品，不管是私聊還是群聊，每個人發送消息的優先級基本上是一樣的，不存在誰的消息優先級高，誰的消息優先級低，都需要將消息準確實時地分發到各個業務終端.但是直播因為業務場景的不同，消息分發的優先級也是不一樣的。

舉例來說：如果一個直播間每秒只能渲染15~20個消息，一個熱點直播間一秒鐘產生的消息量大于20條或者更多，如果不做消息優先級的控制，直接實時分發消息，那么導致的結果就是直播間公屏客戶端渲染卡頓，禮物彈框渲染過快，用戶觀看體驗大幅下降。所以我們要針對不同業務類型的消息，給出不同的消息優先級。

再又比如：禮物消息大于公屏消息，同等業務類型的消息，大額禮物的消息優先級又大于小額禮物的消息，高等級用戶的公屏消息優先級高于低等級用戶或者匿名用戶的公屏消息，在做業務消息分發的時候，需要根據實際的消息優先級，選擇性地進行消息準確地分發。

4、直播系統的消息模塊架構模型

消息模塊架構模型如下圖所示：

如上圖所示，我們消息模塊中消息的交互方式就是推拉結合。下面將分別詳細展開介紹用于“拉”的短輪詢和用于“推”的長連接技術。

5、短輪詢技術

正如上節中架構圖所示，我們的架構中使用上短輪詢技術。本節將詳細介紹之。（關于短輪詢技術的原理，可以看看這篇《網頁端IM通信技術快速入門：短輪詢、長輪詢、SSE、WebSocket》）

5.1 短輪詢的業務模型

首先，我們先簡單描述一下短輪詢的時序邏輯和設計思想：

1）客戶端每隔2s輪詢服務器接口，參數是roomId和timestamp（timestamp第一次傳遞0或者null）；

2）服務器根據roomId和timestamp查詢該房間在timestamp時間戳后產生的消息事件，返回限定條數的消息例如（例如返回10~15條，當然在這個timestamp之后產生的消息數遠遠大于15條，不過因為客戶端渲染能力有限和過多的消息展示，會影響用戶體驗，所以限制返回的條數），并且同時返回這些消息中最后一條消息產生的時間戳timestamp，作為客戶端下次請求服務器的基準請求時間戳；

3）以此反復，這樣就可以每隔2s按照各個終端要求，更新每個直播間的最新消息了。

整體的技術邏輯如上圖所示，不過具體的時序可以再做精細化處理，后續再做具體的說明和細節說明。

5.2 短輪詢的存儲模型

短輪詢的消息存儲與正常的長連接的消息存儲有一定的區別，因為它不存在消息擴散的問題。

我們需要做的消息存儲需要達到如下的業務目標：

1）消息插入時間復雜度要相對比較低；
2）消息查詢的復雜度要相對比較低；
3）消息的存儲的結構體要相對比較小，不能占用太大的內存空間或者磁盤空間；
4）歷史消息能夠按照業務需要做磁盤持久化存儲。

結合上述4點的技術要求，經過小組成員的討論，我們決定使用Redis的SortedSet數據結構進行存儲。

具體實現思路：按照直播間產品業務類型，將業務消息劃分為如下四大類型：禮物、公屏、PK、通知。

一個直播間的消息使用四個Redis的SortedSet數據結構進行存儲。

SortedSet的key分別是：

1）"live::roomId::gift"；
2）"live::roomId::chat"；
3）"live::roomId::notify"；
4）"live::roomId::pk"。

score分別是消息真實產生的時間戳，value就是序列化好的json字符串。

如下圖所示：

客戶端輪詢的時候，服務端查詢的邏輯如下所示：

很多同學會疑問，為什么不適用Redis的list的數據結構呢？如下圖會進行詳細的說明：

最后：我們再對比一下Redis的SortedSet和Redis的List這兩個數據結構在直播消息存儲的時候，時間復雜度的相關分析（如下所示）。

以上：就是我們使用Redis的SortedSet數據結構進行消息存儲的一些簡單的設計思考，后續我們也會提到端輪詢的編碼時候，需要的注意點。

5.3 短輪詢的時間控制

短輪詢的時間控制及其重要，我們需要在直播觀眾觀看體驗QoE和服務器壓力之間找到一個很好的平衡點。

輪詢的間隔時間長：用戶體驗就會下降很多，直播觀看體驗就會變差，會有"一頓一頓"的感覺。

短輪詢的頻率過高：會導致服務器的壓力過大，也會出現很多次"空輪詢"，所謂的"空輪詢"就是無效輪詢，也就是在上一秒有效輪詢返回有效消息之后，間隔期直播間沒有產生新的消息，就會出現無效的輪詢。

vivo直播目前每日的輪詢次數是10+億次，晚觀看直播高峰期的時候，服務器和Redis的CPU負載都會上升，dubbo的服務提供方的線程池一直處于高水位線上。這塊需要根據機器的和Redis的實時負載的壓力，做服務器的水平擴容和Redis Cluster的節點擴容，甚至讓一些超高熱度值的直播間負載到指定的Redis Cluster集群上，做到物理隔離，享受到“VIP”服務，確保各個直播間的消息相互不影響。

直播人數不一樣的直播間，輪詢的時間也是可以配置的：

1）例如人數比較少的直播，百人以下的直播間，可以設置比較高頻的輪詢頻率（比如1.5s左右）；
2）超過300人以上的，1000人以下可以2s左右；
3）萬人直播間可以設置2.5s左右。

這些配置應該都可以通過配置中心實時下發，客戶端能夠實時更新輪詢的時間，調整的頻率可以根據實際直播間用戶體驗的效果，并且結合服務器的負載，找到一個輪詢間隔的相對最佳值。

5.4 短輪詢的注意點

1）服務端需要校驗客戶端傳遞過來的時間戳：

這一點非常重要，試想一下，如果觀眾在觀看直播的時候，將直播退出后臺，客戶端輪詢進程暫停，當用戶恢復直播觀看畫面進程的時候，客戶端傳遞過來的時間就會是非常老舊甚至過期的時間，這個時間會導致服務器查詢Redis時出現慢查。

如果出現大量的服務器慢查的話，會導致服務器連接Redis的連接無法快速釋放，也會拖慢整個服務器的性能，會出現一瞬間大量的輪詢接口超時，服務質量和QoE會下降很多。

2）客戶端需要校驗重復消息：

在極端情況下，客戶端有可能收到重復的消息，產生的原因可能如下，在某一個時刻客戶端發出roomId=888888×tamp=t1的請求，因為網絡不穩定或者服務器GC的原因，導致該請求處理比較慢，耗時超過2s，但是因為輪詢時間到了，客戶端又發出了roomId=888888×tamp=t1的請求，服務器返回相同的數據，就會出現客戶端重復渲染相同的消息進行展示。

這樣也會影響用戶體驗，所以每一個客戶端有必要對重復消息進行校驗。

3）海量數據無法實時返回渲染的問題：

設想一下，如果一個熱度極大的直播間，每秒鐘產生的消息量是數千或者上萬的時候，按照上面的存儲和查詢思路是有漏洞的。

因為我們每次因為各個因素的限制，每次只返回10~20條消息，那么我們需要很長的時間才能把這熱度很多的一秒鐘的數據全部返回，這樣就會造成最新的消息無法快速優先返回。

所以輪詢返回的消息也可以按照消息優先級進行選擇性丟棄。

5.5 短輪詢的優缺點

客戶端輪詢服務服務器查詢直播間的消息的好處是顯而易見的，消息的分發是非常實時和準確的，很難出現因為網絡顫抖導致消息無法到達的場景。

不過壞處也是非常明顯的，服務器在業務高峰期的負載壓力很大，如果直播間的所有消息都是通過輪詢分發，長期以往，服務器是很難通過水平擴容的方式來達到線性增長的。

6、長連接技術

6.1 長連接的架構

如上圖所示，整體直播長連接的流程如下：

1）手機客戶端首先通過http請求長連接服務器，獲取TCP長連接的IP地址，長連接服務器根據路由和負載策略，返回最優的可連接的IP列表；
2）手機客戶端根據長連接服務器返回的IP列表，進行長連接的客戶端的連接請求接入，長連接服務器收到連接請求，進而建立連接；
3）手機客戶端發送鑒權信息，進行通信信息的鑒權和身份信息確認，最后長連接建立完成，長連服務器需要對連接進行管理，心跳監測，斷線重連等操作。

長連接服務器集群的基本架構圖：

如上圖所示，集群按照地域進行業務劃分，不同地域的終端機器按需接入。

6.2 長連接建立和管理

為了使消息即時、高效、安全地觸達用戶，直播客戶端和IM系統建立了一條加密的全雙工數據通路，收發消息均使用該通道，當大量用戶在線的時候，維護這些連接、保持會話，需要用到大量內存和CPU資源。

IM接入層盡量保持功能簡潔：業務邏輯下沉到后面邏輯服務中進行處理，為了防止發布的時候，重啟進程會導致大量的外網設備重新建立連接，影響用戶體驗。

接入層提供熱更新的發布方案：連接維護、賬號管理等不經常改動的基礎邏輯放入主程序中，業務邏輯采用so插件的方式嵌入到程序的，修改業務邏輯時只需要重新加載一次插件即可，可以保證與設備的長連接不受影響。

6.3 長連接保活

長連接建立后，如果中間網絡斷開，服務端和客戶端都無法感知，造成假在線的情況。

因此維護好這個“長連接”的一個關鍵的問題在于能夠讓這個“長連接”能夠在中間鏈路出現問題時，讓連接的兩端能夠快速得到通知，然后通過重連來建立新的可用連接，從而讓我們這個長連接一直保持高可用狀態。

我們的作法是：讓IM消息模塊在服務端開啟TCP的keeplive保活探測機制，并在客戶端啟用智能心跳。

利用TCP的keeplive保活探測功能，可以探知客戶端崩潰、中間網絡端開和中間設備因超時刪除連接相關的連接表等意外情況，從而保證在意外發生時，服務端可以釋放半打開的TCP連接。

客戶端啟動智能心跳不僅能在消耗極少的電和網絡流量條件下，通知服務器客戶端存活狀態、定時的刷新NAT內外網IP映射表，還能在網絡變更時自動重連長連接。

Jack Jiang注：實際上，移動網絡下，TCP協議自身的keeplive機制用處并不大，有興趣可以詳讀這兩篇：《為什么說基于TCP的移動端IM仍然需要心跳保活？》、《徹底搞懂TCP協議層的KeepAlive保活機制》。

有關長連接心跳機制的更詳細資料，可以參閱：

《手把手教你用Netty實現網絡通信程序的心跳機制、斷線重連機制》
《一文讀懂即時通訊應用中的網絡心跳包機制：作用、原理、實現思路等》
《移動端IM實踐：實現Android版微信的智能心跳機制》
《移動端IM實踐：WhatsApp、Line、微信的心跳策略分析》
《一種Android端IM智能心跳算法的設計與實現探討（含樣例代碼）》
《正確理解IM長連接、心跳及重連機制，并動手實現》
《萬字長文：手把手教你實現一套高效的IM長連接自適應心跳保活機制》
《Web端即時通訊實踐干貨：如何讓你的WebSocket斷網重連更快速？》

7、直播間IM消息的實時分發

7.1 概述

IM長連接分發消息的整體流程圖：

在整合客戶端、IM長連接服務器模塊和直播業務服務器模塊這三個模塊的時候，整體消息的分發邏輯遵循幾個基本原則。

基本原則如下：

1）單聊、群聊、廣播消息所有的消息都是由直播業務服務器調用IM長連接服務器的接口，將需要分發的消息分發到各個業務直播間；
2）業務服務器對直播間產生的事件進行對應的業務類型做響應的處理，例如送禮扣減虛擬貨幣，發送公屏進行文本健康校驗等；
3）客戶端接受直播業務服務器的信令控制，消息是通過長連接通道分發還是http短輪詢分發，都是由直播業務服務器控制，客戶端屏蔽底層消息獲取的方式細節，客戶端上層接受統一的消息數據格式，進行對應的業務類型消息處理渲染。

7.2 直播間成員管理和消息分發

直播間成員是直播間最重要的基礎元數據，單個直播間的用戶量實際上是無上限的，且呈現大直播若干個（大于30W同時在線）、中直播間幾百個、小直播幾萬個這樣分布。如何管理直播間成員是一個直播間系統架構中核心功能之一。

常見的管理方式有如下兩種：

1）為直播間分配固定分片：

用戶與具體的分片存在映射關系，每個分片中保存用戶相對隨機。

采用固定分片的方式算法實現簡單，但是對于用戶少的直播間有可能分片承載的用戶數量少，對于用戶大的直播間有可能分片承載用戶量又比較大，固定分片存在天然伸縮性差的特點。

2）動態分片：

規定分片用戶數，當用戶數超過閾值時，增加一個新的分片，分片數量可以隨著用戶數增加而變化。

動態分片可以根據直播間人數自動生成分片，滿了就開辟新片，盡量使每個分片的用戶數達到閾值，但已有分片的用戶數量隨著用戶進出直播間變化，維護復雜度比較高。

7.3 直播間消息分發

直播間中有進出場消息、文本消息、禮物消息和公屏消息等多種多樣消息。消息的重要程度不一樣，可為每個消息設定相應的優先級。

不同優先級的消息放在不同的消息隊列中，高優先級的消息優先發送給客戶端，消息堆積超過限制時，丟棄最早、低優先級的消息。

另外：直播間消息屬于實時性消息，用戶獲取歷史消息、離線消息的意義不大，消息采用讀擴散的方式存儲組織。

直播間消息發送時：根據直播間成員分片通知對應的消息發送服務，再把消息分別下發給分片中對應的每一個用戶。為了實時、高效地把直播間消息下發給用戶，當用戶有多條未接收消息時，下發服務采用批量下發的方式將多條消息發送給用戶。

7.4 長連接的消息壓縮

在使用TCP長連接分發直播間消息的時候，也需要注意消息體的大小。

如果某一個時刻，分發消息的數量比較大，或者同一個消息在做群播場景的時候，群播的用戶比較多，IM連接層的機房的出口帶寬就會成為消息分發的瓶頸。

所以如何有效的控制每一個消息的大小、壓縮每一個消息的大小，是我們也需要思考的問題。

我們目前通過兩種方式來做相關消息體結構的優化：

1）使用protobuf協議數據交換格式；
2）相同類型的消息進行合并發送。

經過我們線上測試，使用protobuf數據交換格式，平均每一個消息節省43%的字節大小，可以大大幫助我們節省機房出口帶寬。（關于protubuf的更多資料，請閱讀《Protobuf通信協議詳解：代碼演示、詳細原理介紹等》、《強列建議將Protobuf作為你的即時通訊應用數據傳輸格式》）

7.5 塊消息

所謂塊消息，也是我們借鑒其他直播平臺的技術方案，也就是多個消息進行合并發送。

直播業務服務器不是產生一個消息就立馬調用IM長連接服務器集群直接進行消息的分發。

主要思想：就是以直播間為維度，每隔1s或者2s，以勻速的時間間隔將在這個時間段業務系統產生的消息進行分發。

每秒分發10~20個消息，如果每秒中，業務服務器積累到的消息大于10~20個，那就按照消息的優先級進行丟棄。如果這10~20個消息的優先級都比較高，例如都是禮物類型的消息，則將消息放在后一個消息塊進行發送。

這樣做的好處如下：

1）減少傳輸消息頭：合并消息，可以減少傳輸多余的消息頭，多個消息一起發送，在自定義的TCP傳輸協議中，可以共用消息頭，進一步減少消息字節數大小；
2）防止消息風暴：直播業務服務器可以很方便的控制消息分發的速度，不會無限制的分發消息到直播客戶端，客戶端無法處理如此多的消息；
3）提升用戶體驗：直播間的消息因為流速正常，渲染的節奏比較均勻，會帶來很好的用戶直播體驗，整個直播效果會很流暢。

8、消息丟棄策略

不管是http短輪詢還是長連接，在高熱度值直播間出現的時候，都會存在消息丟棄的情況。

例如：在游戲直播中，有出現比較精彩瞬間的時候，評論公屏數會瞬間增加，同時送低價值的禮物的消息也會瞬間增加很多，用來表示對自己選手精彩操作的支持，那么服務器通過IM長連接或者http短輪詢每秒分發的消息數就會數千或者上萬。

一瞬間的消息突增，會導致客戶端出現如下幾個問題：

1）客戶端通過長連接獲取的消息突增，下行帶寬壓力突增，其他業務可能會受到影響（例如禮物的svga無法及時下載播放）；
2）客戶端無法快速處理渲染如此多的禮物和公屏消息，CPU壓力突增，音視頻處理也會受到影響；
3）因消息存在積壓，導致會展示過期已久消息的可能，用戶體驗（QoE）指標會下降。

所以：因為這些原因，消息是存在丟棄的必要的。

舉一個簡單的例子：禮物的優先級一定是高于公屏消息的，PK進度條的消息一定是高于全網廣播類消息的，高價值禮物的消息又高于低價值禮物的消息。

根據這些業務理論，我們在開發實踐中，可以做如下的控制：

1）選擇性丟棄低優先級消息：結合具體業務特點，給各個業務類型的消息劃分出不同等級，在消息分發觸發流控的時候，根據消息優先級選擇性丟棄低優先級消息；
2）選擇性丟棄“老”消息：消息結構體新增創建時間和發送時間兩個字段，在實際調用長連接通道的時候，需要判斷當前時間與消息的創建時間是夠間隔過大，如果過大，則直接丟棄消息；
3）增益消息(糾正消息)：在業務開發中，消息的設計中，盡量地去設計增益消息，增益消息指的是后續到達的消息能夠包含前續到達的消息。

針對上述第 3）條：舉例來說，9點10的消息，主播A和主播B的PK值是20比10，那么9點11分分發的PK消息值就是22比10，而不能分發增量消息2:0，希望客戶端做PK條的累加（20+2 ：10+0）。但是存在消息因為網絡顫抖或者前置消息丟棄，導致消息丟棄，所以分發增益消息或者糾正消息會能夠幫助業務重新恢復正常。