1、內(nèi)容點(diǎn)評(píng)
本文以輕松幽默的語(yǔ)氣,講解了視頻編解碼的一些基本常識(shí),并以愛(ài)奇藝為例,講述了視頻編解碼技術(shù)在國(guó)內(nèi)的發(fā)展以及未來(lái)的一些展望。
▼ 閱讀本文需要有一些音視頻編解碼技術(shù)的基礎(chǔ),否則請(qǐng)先閱讀以下文章:
《即時(shí)通訊音視頻開(kāi)發(fā)(一):視頻編解碼之理論概述》
《即時(shí)通訊音視頻開(kāi)發(fā)(二):視頻編解碼之?dāng)?shù)字視頻介紹》
《即時(shí)通訊音視頻開(kāi)發(fā)(三):視頻編解碼之編碼基礎(chǔ)》
《即時(shí)通訊音視頻開(kāi)發(fā)(十九):零基礎(chǔ),史上最通俗視頻編碼技術(shù)入門(mén)》
本文并未就具體的視頻編解碼概念進(jìn)行深入的討論,目的是盡可能以淺顯易懂的方式讓讀者輕松了解本文標(biāo)題想呈現(xiàn)的內(nèi)容。如果您想深入了解視頻編解碼技術(shù),可繼續(xù)閱讀以下文章。
▼ 以下是比較深入的視頻編解碼相關(guān)文章:
《即時(shí)通訊音視頻開(kāi)發(fā)(四):視頻編解碼之預(yù)測(cè)技術(shù)介紹》
《即時(shí)通訊音視頻開(kāi)發(fā)(五):認(rèn)識(shí)主流視頻編碼技術(shù)H.264》
《即時(shí)通訊音視頻開(kāi)發(fā)(十三):實(shí)時(shí)視頻編碼H.264的特點(diǎn)與優(yōu)勢(shì)》
《即時(shí)通訊音視頻開(kāi)發(fā)(十七):視頻編碼H.264、VP8的前世今生》
《即時(shí)通訊音視頻開(kāi)發(fā)(十八):詳解音頻編解碼的原理、演進(jìn)和應(yīng)用選型》
《移動(dòng)端實(shí)時(shí)音視頻直播技術(shù)詳解(四):編碼和封裝》
《[觀點(diǎn)] WebRTC應(yīng)該選擇H.264視頻編碼的四大理由》
▼ 愛(ài)奇藝技術(shù)產(chǎn)品團(tuán)隊(duì)還分享了其它兩篇文章,有興趣也可以讀一讀:
《愛(ài)奇藝移動(dòng)端網(wǎng)絡(luò)優(yōu)化實(shí)踐分享:網(wǎng)絡(luò)請(qǐng)求成功率優(yōu)化篇》
《愛(ài)奇藝技術(shù)分享:愛(ài)奇藝Android客戶端啟動(dòng)速度優(yōu)化實(shí)踐總結(jié)》
歡迎關(guān)注“即時(shí)通訊技術(shù)圈”,更多好文會(huì)同步發(fā)布在公眾號(hào):
(本文同步發(fā)布于:http://www.52im.net/thread-3028-1-1.html)
2、正文引言
初夏最火的造型是什么?不少人可能會(huì)脫口而出——“淡黃的長(zhǎng)裙,蓬松的頭發(fā)。。。”
就連我這個(gè)上古時(shí)期的老年人,都開(kāi)始每周四和周六準(zhǔn)時(shí)點(diǎn)開(kāi)愛(ài)奇藝首頁(yè),吸一口青春美少女們。原因無(wú)他,后疫情灰色時(shí)期,還有什么能比漂亮小姐姐的燦爛笑容更能讓人感覺(jué)到人間值得呢?而我上一次真情實(shí)感追完的的女團(tuán)選秀,可能要追溯到……《超級(jí)女聲》。
不管自己pick的姐姐妹妹能不能順利出道,至少今天在屏幕上欣賞她們的顏,絕對(duì)是一件超幸福的事兒。既不用忍受電視的“馬賽克畫(huà)質(zhì)”,還能隨時(shí)隨地掏出手機(jī)來(lái)欣賞妹妹們今日份的可愛(ài)。
不知道大家有沒(méi)有同一種快樂(lè),那就是用4G網(wǎng)絡(luò)看藍(lán)光1080P,已經(jīng)沒(méi)有“流量焦慮”了,出現(xiàn)緩沖旋轉(zhuǎn)“小菊花”的情況的幾率也在悄然減少。這種觀看體驗(yàn)的優(yōu)化,除了通信網(wǎng)絡(luò)環(huán)境的改變之外,締造這種視覺(jué)快樂(lè)的一項(xiàng)關(guān)鍵技術(shù)——視頻編碼,就像是宇宙中的暗物質(zhì)——鮮為人知,但十分重要。
簡(jiǎn)單來(lái)說(shuō):視頻編碼技術(shù)的升級(jí),能夠讓你用更少的流量、更低的帶寬、更快的速度,看更高清晰度的視頻畫(huà)面。比如《青春有你2》溢出屏幕的元?dú)馍倥?,是不是?005年的朦朧美更令人心動(dòng)呢?
習(xí)慣了1080P高清的用戶,絕對(duì)不愿意再回到480P的自動(dòng)馬賽克時(shí)代了。那么,視頻編碼到底在高清視頻的烹制中,發(fā)揮了怎樣神奇的化學(xué)反應(yīng)?搞秀之余,不妨來(lái)了解一下視頻編碼的前世今生,看看無(wú)數(shù)科技巨頭如何圍繞它撕得花紅柳綠。
3、曾今的視頻編碼標(biāo)準(zhǔn),是IT巨頭們“跑馬圈地”的游戲
曾今的視頻編碼標(biāo)準(zhǔn),巨頭們爭(zhēng)相“入股”,視頻編碼標(biāo)準(zhǔn)有何誘人之處?
思科、微軟、蘋(píng)果、谷歌、奈飛等這些大名鼎鼎的巨頭,為什么都覺(jué)得視頻編碼技術(shù)這波“入股不虧”,非要pick助其出道?
回答這個(gè)問(wèn)題之前,有必要先簡(jiǎn)單解釋一下,視頻編碼技術(shù)究竟是干什么的?
簡(jiǎn)單來(lái)說(shuō):就是將視頻壓縮成一定的格式,去除掉其中的空間冗余和時(shí)間冗余,形成更適合存儲(chǔ)和傳輸?shù)拇a流。之所以需要被編碼壓縮,最主要原因就是原始視頻的數(shù)據(jù)量過(guò)于龐大。高清視頻文件往往高達(dá)1G以上,如果本地播放也就算了,一旦需要將其上傳、分享給他人,傳輸網(wǎng)絡(luò)和存儲(chǔ)設(shè)備都扛不住那么巨大的數(shù)據(jù)量。
所以視頻平臺(tái)就需要對(duì)所播放的文件進(jìn)行重構(gòu):
- 1)通過(guò)壓縮編碼將數(shù)據(jù)量變小,以方便傳輸;
- 2)再依靠解壓縮在用戶端解碼,將視頻圖像還原出來(lái)。
簡(jiǎn)單總結(jié)就是:編碼效率決定了你的手機(jī)能下載多少部高清視頻。
如果你經(jīng)歷過(guò)一晚上不關(guān)機(jī)終于下好一部2G大小的視頻,卻發(fā)現(xiàn)播放器彈出一行大字——“該視頻無(wú)法播放”的絕望,那一定會(huì)鼓掌歡迎編解碼技術(shù)的更新。
當(dāng)然,一些“有流量任性”的小伙伴也會(huì)選擇直接用4G網(wǎng)絡(luò)在線觀看視頻,這時(shí)候視頻大小可就沒(méi)什么影響了吧?
這么想可就太天真了。視頻編碼技術(shù)越強(qiáng),傳輸需要占用的帶寬也就更小,就像堤壩沒(méi)有加固,但沖擊河道的流水變小了,自然也就不會(huì)出現(xiàn)出水口淤塞的問(wèn)題,看視頻卡頓、掉幀的事故也就不會(huì)上演了。
比如此次疫情期間,網(wǎng)絡(luò)流量比例不斷增加,為互聯(lián)網(wǎng)服務(wù)商帶來(lái)極大的挑戰(zhàn),傳統(tǒng)的解決方案就是在網(wǎng)絡(luò)帶寬有限的前提下,降低視頻的清晰度。如,YouTube、亞馬遜旗下Prime Video、Netflix等一眾互聯(lián)網(wǎng)視頻提供商都在歐洲、印度、澳大利亞等國(guó)家降低了視頻畫(huà)質(zhì),用戶只能默認(rèn)收看標(biāo)清視頻。
可是,吃慣了高清這盤(pán)珍饈,哪個(gè)用戶還愿意忍受低畫(huà)質(zhì)的粗茶淡飯呢?為了留住挑剔的內(nèi)容食客們,平臺(tái)們不得不想盡辦法,提升對(duì)視頻的烹飪技藝。
那么,讓我們得以隨時(shí)隨地追劇追綜的視頻編解碼技術(shù),到底有哪些呢?
目前,國(guó)際上主要有幾種主流的視頻編解碼標(biāo)準(zhǔn)(國(guó)際上音視頻編碼技術(shù)的標(biāo)準(zhǔn)化),包括VPx(VP8,VP9),H.26x(H.264,H.265),AVS(AVS1,AVS2),AVx(AV1)等等。視頻平臺(tái)們用某一種通用編碼格式標(biāo)準(zhǔn),自己開(kāi)發(fā)編碼器,就可以用更厲害的標(biāo)準(zhǔn)批量生產(chǎn)視頻了。
可詳讀以下相關(guān)文章:
《即時(shí)通訊音視頻開(kāi)發(fā)(五):認(rèn)識(shí)主流視頻編碼技術(shù)H.264》
《即時(shí)通訊音視頻開(kāi)發(fā)(十三):實(shí)時(shí)視頻編碼H.264的特點(diǎn)與優(yōu)勢(shì)》
《即時(shí)通訊音視頻開(kāi)發(fā)(十七):視頻編碼H.264、VP8的前世今生》
《[觀點(diǎn)] WebRTC應(yīng)該選擇H.264視頻編碼的四大理由》
這些標(biāo)準(zhǔn)都是什么?到底哪個(gè)更厲害?為什么每個(gè)字符我都認(rèn)識(shí)但完全不知道是干什么的?甚至還有種被張含韻張韶涵張涵予張予曦張馨予等支配的恐懼,傻傻分不清楚……別急,其實(shí)就算是流媒體從業(yè)者,也很少有人將它們搞清楚。其實(shí)吧,只需要了解三個(gè)關(guān)鍵點(diǎn),你就能輕松變成“技術(shù)派”碾壓不少業(yè)內(nèi)人士了。
簡(jiǎn)單來(lái)說(shuō):不同的視頻編碼標(biāo)準(zhǔn),就是圍繞三個(gè)要素所展開(kāi)的“量子糾纏”的。
4、視頻編碼標(biāo)準(zhǔn)要素之一:高清
上世紀(jì)90年代,第一代視頻編碼標(biāo)準(zhǔn)H.261和MPEG-1就開(kāi)始出現(xiàn),其后幾乎每十年就有一次迭代更新。
啟動(dòng)視頻編碼技術(shù)不斷演進(jìn)的核心要素,還是人們對(duì)于高清、更高清的不斷追求。
視頻編碼技術(shù)每進(jìn)化一代,視頻壓縮效率都至少提高了一倍。比如十幾年前第二代視頻編碼標(biāo)準(zhǔn)VP8 和 H.264,只能應(yīng)用在低于HD的中小分辨率視頻上,稍微兼顧一點(diǎn)1080P分辨率。而2012年愛(ài)立信公司推出了首款H.265編解碼器,所引領(lǐng)的第三代視頻編碼HEVC標(biāo)準(zhǔn)就只需H.264一半帶寬,即可播放相同質(zhì)量的視頻。
啥意思的?如果你是一個(gè)擁有過(guò)MP4設(shè)備的互聯(lián)網(wǎng)早期弄潮兒,同樣大的存儲(chǔ)空間,你可以多下載一倍大小的視頻,告別四處借硬盤(pán)的苦日子。
在線看視頻則更爽了,基于編解碼標(biāo)準(zhǔn),智能手機(jī)、平板等移動(dòng)設(shè)備也能夠直接在線播放 1080P 的全高清視頻,還支持4K 和 8K 超高清。也就是說(shuō),只要有內(nèi)容方愿意生產(chǎn)8K視頻,平臺(tái)就能給你100%還原出畫(huà)面來(lái),而不用受最高清晰度720P這樣的限制。
那么,為什么HEVC標(biāo)準(zhǔn)推出2年后,采用AV1格式的消費(fèi)類設(shè)備又開(kāi)始出現(xiàn)呢?因?yàn)橐苿?dòng)互聯(lián)網(wǎng)的爆發(fā),原有的編碼標(biāo)準(zhǔn)依然不能完全解決帶寬消耗的問(wèn)題。所以更高效的視頻編碼標(biāo)準(zhǔn)如AVS3、H.266等,也都相繼被研發(fā)人員安排上了。
為什么視頻平臺(tái)關(guān)于編碼標(biāo)準(zhǔn)的“墻頭”這么多?
試想一下,如果你用的是一個(gè)高分辨率配置的智能手機(jī),但視頻只能到480P的清晰度,為硬件高配置花的錢(qián)不就白瞎了嗎?有的用戶為了防止觀看卡頓或模糊,還得額外下一個(gè)完美解碼、格式工廠之類的第三方解碼器,將視頻轉(zhuǎn)化一下才能看。
而只要視頻平臺(tái)支持更高效率的編解碼標(biāo)準(zhǔn),就能實(shí)現(xiàn)低帶寬下播放高清視頻不卡頓的效果。有現(xiàn)炒的熱菜,誰(shuí)還愿意等打包的盒飯呢?所以細(xì)心的讀者會(huì)發(fā)現(xiàn),編碼技術(shù)的不斷升級(jí),開(kāi)始讓第三方編碼工具悄悄退出了追劇黨的工具箱。
5、視頻編碼標(biāo)準(zhǔn)要素之二:專利
盡管用戶體驗(yàn)是視頻編碼技術(shù)的首要進(jìn)化原則,但專利所帶來(lái)的限制與成本,也成為產(chǎn)業(yè)風(fēng)云迭起的重要誘因。
由GE、Technicolor、杜比,飛利浦和三菱等組建的H.265專利聯(lián)盟HEVC Advance,就向使用該標(biāo)準(zhǔn)的廠商收取專利費(fèi)。
因此,不少開(kāi)源標(biāo)準(zhǔn)逐漸崛起。其中谷歌打造的VP9標(biāo)準(zhǔn)就是最負(fù)盛名的一個(gè)。不僅在實(shí)際效率上與HEVC/H.265接近,大大優(yōu)于H.264及它的前身VP8,而且可以對(duì)專利免費(fèi)使用。很快,YouTube全面支持VP9超高清流媒體節(jié)目,Netflix、蘋(píng)果等也加入其中。
當(dāng)年,愛(ài)奇藝的《破冰行動(dòng)》無(wú)疑是熱度最高的"爆款劇"之一,一度引起風(fēng)靡,高清流暢的畫(huà)面質(zhì)感為其加分增色不少,就采用了基于VP9標(biāo)準(zhǔn)開(kāi)發(fā)的全新編碼器,就采用了基于VP9標(biāo)準(zhǔn)開(kāi)發(fā)的全新編碼器面部細(xì)節(jié)等方面畫(huà)面真實(shí)感尤為顯著。
而我國(guó)自主知識(shí)產(chǎn)權(quán)的第二代信源編碼標(biāo)準(zhǔn)AVS的出現(xiàn),更與專利有著不解之緣。
大家的童年有沒(méi)有出現(xiàn)過(guò)DVD這種物件,租一部劇不用等更新一個(gè)周末看完的快樂(lè),不亞于今天購(gòu)買(mǎi)視頻平臺(tái)尊貴的“VIP中P”會(huì)員。但中國(guó)的DVD行業(yè)曾經(jīng)也遇到過(guò)一次嚴(yán)重的專利危機(jī)。
2002年,一批出口的DVD產(chǎn)品因?yàn)榧夹g(shù)專利費(fèi)的繳納問(wèn)題沒(méi)有解決而被扣押。于是同年6月,數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組成立,2006年,第一代視頻編碼標(biāo)準(zhǔn)AVS1推出,壓縮效率和H.264相當(dāng),并且每個(gè)編解碼器只象征性得收取1元專利費(fèi),對(duì)互聯(lián)網(wǎng)上的軟件服務(wù)更是免收專利費(fèi),從此擺脫了只能使用國(guó)際標(biāo)準(zhǔn)、被高額專利費(fèi)卡脖子的窘境。
可以說(shuō),目前主流的兩大標(biāo)準(zhǔn)VP9和AVS,都是在專利的鎖鏈中生長(zhǎng)出來(lái)的自由之翼。
6、視頻編碼標(biāo)準(zhǔn)要素之三:壟斷
既然VP9已經(jīng)開(kāi)源了,那就抱緊谷歌大腿等大佬迭代再應(yīng)用不就好了嗎?一個(gè)國(guó)家的大部分視頻都坐落在某一個(gè)標(biāo)準(zhǔn)體系上,等于將標(biāo)準(zhǔn)的議價(jià)權(quán)交到了別人手中,面對(duì)這種“壟斷優(yōu)勢(shì)”,谷歌表示,我瘋起來(lái)可能連自己都打,為了不作惡還是趕緊給自己培養(yǎng)個(gè)對(duì)手吧……
所以2015年,一個(gè)由谷歌倡議并參與,試圖替代VP9和HEVC/H.265的新標(biāo)準(zhǔn)組織成立了,那就是開(kāi)放媒體聯(lián)盟Alliance for Open Media(AOM)。這個(gè)新的開(kāi)源標(biāo)準(zhǔn)很快吸引了Adobe、亞馬遜、AMD、奈飛、Facebook、思科、蘋(píng)果、英特爾、英偉達(dá)等等巨頭的參與。中國(guó)的愛(ài)奇藝也率先加入了AOM聯(lián)盟。
這個(gè)由30多家領(lǐng)先的高科技公司組成的會(huì)員制聯(lián)盟,很快開(kāi)發(fā)出了新一代開(kāi)源的視頻編碼標(biāo)準(zhǔn)AV1(AOMedia Video Codec 1.0),也就是今天能讓我們看到高清版《青春有你2》,特別是選秀舞臺(tái)上的說(shuō)唱、勁舞的畫(huà)面更加清晰平滑的“后臺(tái)”。
AV1之所以在產(chǎn)業(yè)端迅速上馬,成為包括奈飛、YouTube、BBC、愛(ài)奇藝等一眾平臺(tái)的推行目標(biāo),主要就是在用戶體驗(yàn)上太能打了。
更高的編碼效率、更低的碼率,同等質(zhì)量可以節(jié)省20%以上的帶寬。舉個(gè)例子,就是下載整期1080P版《青春有你2》,原本需要10G的手機(jī)存儲(chǔ),而AV1標(biāo)準(zhǔn)下只需要8G就能搞定,剩下2G空間咱們存點(diǎn)PLMM(漂亮妹妹)的高清大圖舔顏它不香嗎?
在線觀看也很爽,不僅妹妹們的臉看起來(lái)會(huì)更清晰,而且高清播放所占的帶寬也更小,同時(shí)下載個(gè)東西、刷個(gè)微博啥的,也不會(huì)因?yàn)榫W(wǎng)絡(luò)擁擠而卡頓。
作為視頻觀眾,誰(shuí)不愿意平臺(tái)默默地為我們殫精竭慮,周全每一點(diǎn)流量、帶寬和存儲(chǔ)卡呢?
不難看出,視頻編碼標(biāo)準(zhǔn)迭代,既是技術(shù)天花板的層層上探,也是整個(gè)視頻平臺(tái)必須攻占的體驗(yàn)高地。
7、如今,國(guó)內(nèi)的視頻平臺(tái)正在搶跑編碼標(biāo)準(zhǔn)“賽道”
具體到國(guó)內(nèi)視頻平臺(tái)上,關(guān)于編碼標(biāo)準(zhǔn)目前競(jìng)爭(zhēng)身位如何,未來(lái)還有哪些硬仗要打,都是值得我們重點(diǎn)關(guān)注的話題。我們不妨具體到某一個(gè)平臺(tái)的探索經(jīng)歷之中,用歷史觀的視角來(lái)捋一捋,視頻編碼技術(shù)到底給中國(guó)這片土地的網(wǎng)民,帶來(lái)了哪些體驗(yàn)上的蝶變。
比如:以愛(ài)奇藝為例,2016年愛(ài)奇藝在萬(wàn)能播放器上線了AVS2格式,是當(dāng)時(shí)國(guó)內(nèi)唯一支持這一標(biāo)準(zhǔn)的平臺(tái);也是國(guó)內(nèi)第一個(gè)實(shí)現(xiàn)VP9標(biāo)準(zhǔn)、AV1標(biāo)準(zhǔn)并應(yīng)用的視頻廠商??梢哉f(shuō)在編碼標(biāo)準(zhǔn)領(lǐng)域,無(wú)論是技術(shù)領(lǐng)先度、布局完善度上,都能夠從一定程度代表中國(guó)流媒體產(chǎn)業(yè)的關(guān)鍵抉擇。
有了標(biāo)準(zhǔn),是不是只需要拿來(lái)直接上手呢?答案顯然是否定的。
拿愛(ài)奇藝來(lái)說(shuō),我們的標(biāo)準(zhǔn)探索之旅,又是如何的呢?
我們就以當(dāng)前效率最高的AV1標(biāo)準(zhǔn)為例,其算法運(yùn)算復(fù)雜度高,所需要的編碼時(shí)間很長(zhǎng),這樣把平臺(tái)所有視頻都處理一遍,可能會(huì)等來(lái)用戶一句“奶奶你等的AV1格式上線了”!
所以,為了提高編碼效率,讓處理效果能夠快速細(xì)致,又不影響編碼質(zhì)量,達(dá)到工業(yè)應(yīng)用標(biāo)準(zhǔn),標(biāo)準(zhǔn)編碼器就要靠各個(gè)平臺(tái)發(fā)揮自主能動(dòng)性了。
以愛(ài)奇藝為例,對(duì)每一代開(kāi)源技術(shù)都保持緊密跟進(jìn)的同時(shí),也會(huì)發(fā)揮自身的技術(shù)特長(zhǎng)來(lái)進(jìn)行針對(duì)性的迭代,讓同一標(biāo)準(zhǔn)在愛(ài)奇藝平臺(tái)上的應(yīng)用有更優(yōu)秀的表現(xiàn)。
比如VP9標(biāo)準(zhǔn)推出時(shí),愛(ài)奇藝的技術(shù)團(tuán)隊(duì)就根據(jù)開(kāi)源的版本VP9編碼器進(jìn)行了專門(mén)的算法優(yōu)化,所開(kāi)發(fā)的QVP9編碼器的速率是開(kāi)源版本的5.4倍左右。作為國(guó)內(nèi)首先支持VP9的視頻廠商,其畫(huà)面質(zhì)量在快速鏡頭、輪廓邊緣、面部細(xì)節(jié)等方面真實(shí)感尤為顯著,壓縮效率比市面主流的標(biāo)準(zhǔn)更是提升了一倍??赡芤彩窃诓恢挥X(jué)間,突然發(fā)現(xiàn)視頻中那些高速打斗的場(chǎng)面似乎更加細(xì)膩流暢了,人物的皮膚也變得更加立體和容易辨別,連女主角額頭的青春痘都是那么的昭然若揭……
而伴隨著用戶在移動(dòng)場(chǎng)景下觀看視頻的訴求越來(lái)越高,比如我本人就喜歡在地鐵上刷短視頻,別問(wèn),問(wèn)就是流量多有錢(qián)任性!這時(shí)候要保證流暢不卡頓,主打PC端的VP9可能就有點(diǎn)不夠了,所以對(duì)移動(dòng)端設(shè)備更友好的AV1,在推出后也很快被安排的明明白白。
獨(dú)立研發(fā)的QAV1編碼器,不僅比H265減小將近一半的帶寬,節(jié)省40%以上碼率。而且速度比開(kāi)源編碼器SVT-AV1還快出5倍左右。比如同樣是看《青春有你2》,用QAV1展示的畫(huà)面效果更棒、顏值更高,反而還更省帶寬,直接幫助我節(jié)省了不少流量,讓滿額限速來(lái)的更晚一些。
8、展望未來(lái),5G讓視頻編解碼技術(shù)有了更多的想象空間
目前,首批應(yīng)用 AV1 的電影已經(jīng)在愛(ài)奇藝上線,用戶可以在電腦瀏覽器端和安卓移動(dòng)端觀看。做到這一步,很難嗎?
答案是肯定的。舉個(gè)例子,終端硬件解碼芯片的成熟,與某項(xiàng)標(biāo)準(zhǔn)能否發(fā)揮價(jià)值有直接關(guān)系。比如H.265在硬件支持上比較廣泛,就與蘋(píng)果、高通、英特爾等的芯片都支持H.265的硬件解碼器有關(guān)。
所以編碼器往往需要結(jié)合具體的應(yīng)用場(chǎng)景來(lái)進(jìn)行改進(jìn)和深度優(yōu)化。
以AV1在愛(ài)奇藝的應(yīng)用為例,為了更好地適應(yīng)愛(ài)奇藝海量?jī)?nèi)容,QAV1通過(guò)對(duì)場(chǎng)景復(fù)雜度的預(yù)分析,實(shí)現(xiàn)了更加合理的碼率分配。對(duì)于簡(jiǎn)單場(chǎng)景,QAV1可以自適應(yīng)地降低碼率,在保證畫(huà)質(zhì)的情況下節(jié)省用戶帶寬;同時(shí)對(duì)于復(fù)雜場(chǎng)景會(huì)適當(dāng)提高碼率,給用戶帶來(lái)更高畫(huà)質(zhì)的體驗(yàn)。
目前,QAV1已經(jīng)支持的功能包括多種速度檔次、多種碼率控制方式、8K視頻編碼等。這種與差異化環(huán)境相匹配的細(xì)節(jié)打磨,同時(shí)兼顧了網(wǎng)絡(luò)帶寬與用戶體驗(yàn)。
萬(wàn)眾期待的5G,自然也需要與之匹配的視頻編碼標(biāo)準(zhǔn)來(lái)呼應(yīng)。以愛(ài)奇藝為例來(lái)說(shuō),AVS3應(yīng)用已經(jīng)在路上了,用移動(dòng)智能手機(jī)看8K超高清視頻、瀏覽VR新聞資訊、與虛擬偶像互動(dòng)……這些新娛樂(lè)體驗(yàn),或許都將借助視頻編碼的技術(shù)魔術(shù),被呈現(xiàn)到我們眼前。
從愛(ài)奇藝的視頻編碼探索中,不難看到,技術(shù)的時(shí)代快車并不容易拿到船票的。唯有長(zhǎng)期披荊斬棘,才能順利摘得王冠。
附錄:更多音視頻技術(shù)方面的資料
[1] 實(shí)時(shí)音視頻開(kāi)發(fā)的精華資料:
《即時(shí)通訊音視頻開(kāi)發(fā)(一):視頻編解碼之理論概述》
《即時(shí)通訊音視頻開(kāi)發(fā)(二):視頻編解碼之?dāng)?shù)字視頻介紹》
《即時(shí)通訊音視頻開(kāi)發(fā)(三):視頻編解碼之編碼基礎(chǔ)》
《即時(shí)通訊音視頻開(kāi)發(fā)(四):視頻編解碼之預(yù)測(cè)技術(shù)介紹》
《即時(shí)通訊音視頻開(kāi)發(fā)(五):認(rèn)識(shí)主流視頻編碼技術(shù)H.264》
《即時(shí)通訊音視頻開(kāi)發(fā)(六):如何開(kāi)始音頻編解碼技術(shù)的學(xué)習(xí)》
《即時(shí)通訊音視頻開(kāi)發(fā)(七):音頻基礎(chǔ)及編碼原理入門(mén)》
《即時(shí)通訊音視頻開(kāi)發(fā)(八):常見(jiàn)的實(shí)時(shí)語(yǔ)音通訊編碼標(biāo)準(zhǔn)》
《即時(shí)通訊音視頻開(kāi)發(fā)(九):實(shí)時(shí)語(yǔ)音通訊的回音及回音消除概述》
《即時(shí)通訊音視頻開(kāi)發(fā)(十):實(shí)時(shí)語(yǔ)音通訊的回音消除技術(shù)詳解》
《即時(shí)通訊音視頻開(kāi)發(fā)(十一):實(shí)時(shí)語(yǔ)音通訊丟包補(bǔ)償技術(shù)詳解》
《即時(shí)通訊音視頻開(kāi)發(fā)(十二):多人實(shí)時(shí)音視頻聊天架構(gòu)探討》
《即時(shí)通訊音視頻開(kāi)發(fā)(十三):實(shí)時(shí)視頻編碼H.264的特點(diǎn)與優(yōu)勢(shì)》
《即時(shí)通訊音視頻開(kāi)發(fā)(十四):實(shí)時(shí)音視頻數(shù)據(jù)傳輸協(xié)議介紹》
《即時(shí)通訊音視頻開(kāi)發(fā)(十五):聊聊P2P與實(shí)時(shí)音視頻的應(yīng)用情況》
《即時(shí)通訊音視頻開(kāi)發(fā)(十六):移動(dòng)端實(shí)時(shí)音視頻開(kāi)發(fā)的幾個(gè)建議》
《即時(shí)通訊音視頻開(kāi)發(fā)(十七):視頻編碼H.264、VP8的前世今生》
《即時(shí)通訊音視頻開(kāi)發(fā)(十八):詳解音頻編解碼的原理、演進(jìn)和應(yīng)用選型》
《即時(shí)通訊音視頻開(kāi)發(fā)(十九):零基礎(chǔ),史上最通俗視頻編碼技術(shù)入門(mén)》
《實(shí)時(shí)語(yǔ)音聊天中的音頻處理與編碼壓縮技術(shù)簡(jiǎn)述》
《網(wǎng)易視頻云技術(shù)分享:音頻處理與壓縮技術(shù)快速入門(mén)》
《學(xué)習(xí)RFC3550:RTP/RTCP實(shí)時(shí)傳輸協(xié)議基礎(chǔ)知識(shí)》
《基于RTMP數(shù)據(jù)傳輸協(xié)議的實(shí)時(shí)流媒體技術(shù)研究(論文全文)》
《聲網(wǎng)架構(gòu)師談實(shí)時(shí)音視頻云的實(shí)現(xiàn)難點(diǎn)(視頻采訪)》
《淺談開(kāi)發(fā)實(shí)時(shí)視頻直播平臺(tái)的技術(shù)要點(diǎn)》
《還在靠“喂喂喂”測(cè)試實(shí)時(shí)語(yǔ)音通話質(zhì)量?本文教你科學(xué)的評(píng)測(cè)方法!》
《實(shí)現(xiàn)延遲低于500毫秒的1080P實(shí)時(shí)音視頻直播的實(shí)踐分享》
《移動(dòng)端實(shí)時(shí)視頻直播技術(shù)實(shí)踐:如何做到實(shí)時(shí)秒開(kāi)、流暢不卡》
《如何用最簡(jiǎn)單的方法測(cè)試你的實(shí)時(shí)音視頻方案》
《技術(shù)揭秘:支持百萬(wàn)級(jí)粉絲互動(dòng)的Facebook實(shí)時(shí)視頻直播》
《簡(jiǎn)述實(shí)時(shí)音視頻聊天中端到端加密(E2EE)的工作原理》
《移動(dòng)端實(shí)時(shí)音視頻直播技術(shù)詳解(一):開(kāi)篇》
《移動(dòng)端實(shí)時(shí)音視頻直播技術(shù)詳解(二):采集》
《移動(dòng)端實(shí)時(shí)音視頻直播技術(shù)詳解(三):處理》
《移動(dòng)端實(shí)時(shí)音視頻直播技術(shù)詳解(四):編碼和封裝》
《移動(dòng)端實(shí)時(shí)音視頻直播技術(shù)詳解(五):推流和傳輸》
《移動(dòng)端實(shí)時(shí)音視頻直播技術(shù)詳解(六):延遲優(yōu)化》
《理論聯(lián)系實(shí)際:實(shí)現(xiàn)一個(gè)簡(jiǎn)單地基于HTML5的實(shí)時(shí)視頻直播》
《IM實(shí)時(shí)音視頻聊天時(shí)的回聲消除技術(shù)詳解》
《淺談實(shí)時(shí)音視頻直播中直接影響用戶體驗(yàn)的幾項(xiàng)關(guān)鍵技術(shù)指標(biāo)》
《如何優(yōu)化傳輸機(jī)制來(lái)實(shí)現(xiàn)實(shí)時(shí)音視頻的超低延遲?》
《首次披露:快手是如何做到百萬(wàn)觀眾同場(chǎng)看直播仍能秒開(kāi)且不卡頓的?》
《Android直播入門(mén)實(shí)踐:動(dòng)手搭建一套簡(jiǎn)單的直播系統(tǒng)》
《網(wǎng)易云信實(shí)時(shí)視頻直播在TCP數(shù)據(jù)傳輸層的一些優(yōu)化思路》
《實(shí)時(shí)音視頻聊天技術(shù)分享:面向不可靠網(wǎng)絡(luò)的抗丟包編解碼器》
《P2P技術(shù)如何將實(shí)時(shí)視頻直播帶寬降低75%?》
《專訪微信視頻技術(shù)負(fù)責(zé)人:微信實(shí)時(shí)視頻聊天技術(shù)的演進(jìn)》
《騰訊音視頻實(shí)驗(yàn)室:使用AI黑科技實(shí)現(xiàn)超低碼率的高清實(shí)時(shí)視頻聊天》
《微信團(tuán)隊(duì)分享:微信每日億次實(shí)時(shí)音視頻聊天背后的技術(shù)解密》
《近期大熱的實(shí)時(shí)直播答題系統(tǒng)的實(shí)現(xiàn)思路與技術(shù)難點(diǎn)分享》
《福利貼:最全實(shí)時(shí)音視頻開(kāi)發(fā)要用到的開(kāi)源工程匯總》
《七牛云技術(shù)分享:使用QUIC協(xié)議實(shí)現(xiàn)實(shí)時(shí)視頻直播0卡頓!》
《實(shí)時(shí)音視頻聊天中超低延遲架構(gòu)的思考與技術(shù)實(shí)踐》
《理解實(shí)時(shí)音視頻聊天中的延時(shí)問(wèn)題一篇就夠》
《實(shí)時(shí)視頻直播客戶端技術(shù)盤(pán)點(diǎn):Native、HTML5、WebRTC、微信小程序》
《寫(xiě)給小白的實(shí)時(shí)音視頻技術(shù)入門(mén)提綱》
《微信多媒體團(tuán)隊(duì)訪談:音視頻開(kāi)發(fā)的學(xué)習(xí)、微信的音視頻技術(shù)和挑戰(zhàn)等》
《騰訊技術(shù)分享:微信小程序音視頻技術(shù)背后的故事》
《微信多媒體團(tuán)隊(duì)梁俊斌訪談:聊一聊我所了解的音視頻技術(shù)》
《新浪微博技術(shù)分享:微博短視頻服務(wù)的優(yōu)化實(shí)踐之路》
《實(shí)時(shí)音頻的混音在視頻直播應(yīng)用中的技術(shù)原理和實(shí)踐總結(jié)》
《以網(wǎng)游服務(wù)端的網(wǎng)絡(luò)接入層設(shè)計(jì)為例,理解實(shí)時(shí)通信的技術(shù)挑戰(zhàn)》
《騰訊技術(shù)分享:微信小程序音視頻與WebRTC互通的技術(shù)思路和實(shí)踐》
《新浪微博技術(shù)分享:微博實(shí)時(shí)直播答題的百萬(wàn)高并發(fā)架構(gòu)實(shí)踐》
《技術(shù)干貨:實(shí)時(shí)視頻直播首屏耗時(shí)400ms內(nèi)的優(yōu)化實(shí)踐》
《愛(ài)奇藝技術(shù)分享:輕松詼諧,講解視頻編解碼技術(shù)的過(guò)去、現(xiàn)在和將來(lái)》
>> 更多同類文章 ……
[2] 開(kāi)源實(shí)時(shí)音視頻技術(shù)WebRTC的文章:
《開(kāi)源實(shí)時(shí)音視頻技術(shù)WebRTC的現(xiàn)狀》
《簡(jiǎn)述開(kāi)源實(shí)時(shí)音視頻技術(shù)WebRTC的優(yōu)缺點(diǎn)》
《訪談WebRTC標(biāo)準(zhǔn)之父:WebRTC的過(guò)去、現(xiàn)在和未來(lái)》
《良心分享:WebRTC 零基礎(chǔ)開(kāi)發(fā)者教程(中文)[附件下載]》
《WebRTC實(shí)時(shí)音視頻技術(shù)的整體架構(gòu)介紹》
《新手入門(mén):到底什么是WebRTC服務(wù)器,以及它是如何聯(lián)接通話的?》
《WebRTC實(shí)時(shí)音視頻技術(shù)基礎(chǔ):基本架構(gòu)和協(xié)議棧》
《淺談開(kāi)發(fā)實(shí)時(shí)視頻直播平臺(tái)的技術(shù)要點(diǎn)》
《[觀點(diǎn)] WebRTC應(yīng)該選擇H.264視頻編碼的四大理由》
《基于開(kāi)源WebRTC開(kāi)發(fā)實(shí)時(shí)音視頻靠譜嗎?第3方SDK有哪些?》
《開(kāi)源實(shí)時(shí)音視頻技術(shù)WebRTC中RTP/RTCP數(shù)據(jù)傳輸協(xié)議的應(yīng)用》
《簡(jiǎn)述實(shí)時(shí)音視頻聊天中端到端加密(E2EE)的工作原理》
《實(shí)時(shí)通信RTC技術(shù)棧之:視頻編解碼》
《開(kāi)源實(shí)時(shí)音視頻技術(shù)WebRTC在Windows下的簡(jiǎn)明編譯教程》
《網(wǎng)頁(yè)端實(shí)時(shí)音視頻技術(shù)WebRTC:看起來(lái)很美,但離生產(chǎn)應(yīng)用還有多少坑要填?》
《了不起的WebRTC:生態(tài)日趨完善,或?qū)?shí)時(shí)音視頻技術(shù)白菜化》
《騰訊技術(shù)分享:微信小程序音視頻與WebRTC互通的技術(shù)思路和實(shí)踐》
>> 更多同類文章 ……
(本文同步發(fā)布于:http://www.52im.net/thread-3028-1-1.html)