（Photo by Sergey）
受疫情影響，遠程協同辦公軟件市場爆發，騰訊會議上線兩個月內日活超千萬，在如此高並發流量衝擊下，騰訊會議保持了清晰流暢的語音服務。近日，騰訊多媒體實驗室高級總監商世東接受LiveVideoStack專訪，圍繞騰訊會議及其背後的故事進行了分享。
以下為采訪實錄：
1. 選擇
離開杜比從來都不是一個困難的決定
剛剛畢業的時候，我在摩托羅拉做音頻方麵的工作，一做就是將近十年的時間。2010年，我去了杜比實驗室，算起來是國內入職杜比研發團隊的第二個員工。當時負責整個杜比中國的工程團隊，差不多有五六十個人的規模。後來我又去了杜比澳大利亞，再後來，也就是2019年1月，我加入了騰訊多媒體實驗室，在音頻91视频免费观看中心負責整個音頻團隊的建設、產品的91视频免费观看路線規劃、91视频免费观看的交互以及負責對多個產品，包括騰訊會議在內的端到端的音頻體驗，現在團隊（音頻）大概有20個人。
對我來說，首先，在杜比這樣的業界領先公司工作，我學習到了很多，國際化的視野、前瞻性的91视频免费观看布局、完整的思維體係、團隊建設等等，這些都是讓我終身獲益的東西。
但離開杜比並不是一個非常困難的決定，這其中大環境、小環境的原因都有一些。我後來回顧了一下，最重要的原因還是在於杜比的主要業務是在傳統領域，成長速度不盡人意。作為一家主要做91视频免费观看授權業務的公司，它沒有最終麵對消費者的產品，相對而言公司規模也比較小，對整個生態的影響有限，很難有一個全麵的把握。
換一種說法，這其中有很多的東西是個人想要但是平台無法給與的，個人成長容易碰到天花板，想要向上突破的時候，公司已經不能給自己提供這樣的平台了。就這方麵而言的話，在騰訊，天花板幾乎不存在，在這裏，隻要有能力、有潛力、有願望，個人擁有持續不斷的提升空間，並且可以在這個無限上升的空間裏做到最好，這對我來說是非常重要的一點。
在騰訊麵臨的用戶數量，以前在杜比的時候是想都不敢想的。現在一天會有千萬級DAU的產品，可以看到自己開發的產品在整個市場上遇到各種意想不到的困難、挑戰、問題以及機會。
現在91视频免费播放很大一部分的精力放在騰訊會議上，通過種種91视频免费观看對用戶使用場景進行分析並通過統計數據的上報、分析，了解用戶可能遇到的問題並快速加以解決。
2. 改變
需要更多的思考與更確定的答案
（Photo by Sergey）
以前91视频免费播放做視頻會議，考慮會議中的語音質量提升和評估的出發點都是要求對標或者超越電話（典型的比如電話話筒終端），這個是典型的雙人通話場景，但是現在91视频免费播放也發現視頻會議大量的場景都是圍繞多人的、多地的聯合辦公場景。以前基於電信行業終端（電話話筒為主要語音設備）定義的完整的語音質量體係需要重新審視和演進來滿足現在用戶的需求。簡單地說，會議軟件是從模仿打電話的體驗開始的，雖然從使用方式、使用場景、使用時間等等角度來看，多樣性已經遠遠超過了電話。而且，僅僅倆人打電話是不夠的，91视频免费播放要一個小組打電話，光打電話還不夠，還要分享視頻、分享屏幕、圖片和文檔。從國際標準，比如ITU-T的演進路線圖來看，製訂的通話標準，也不斷的從雙人通話向多人、跨地區的實時、強交互場景演進。
會議當中關鍵的語音體驗簡單的來說，可以從三個維度來衡量，語音通信的可懂度，語音自然度/保真度和語音舒適度。從這三方麵來說，在多人會議中麵臨的挑戰明顯要多於雙人。
比如多人通話采集設備的多樣性。兩個人的時候當然很好協調，人多了以後采集設備如何配置，以及采集的音質、采樣率、比特率；在多人場景裏麵音頻編解碼的接入配置，到底是寬帶還是超寬帶，最簡單的辦法就是所有的配置都按照最好的來，但是這樣對係統資源的占用是最高的。同時因為對係統資源的占用最高，會帶來總體體驗的下降。
那麽如何動態來在多種因素中平衡，保證多人語音通信的綜合體驗在三個維度上有最優的均衡，就變成一個很有挑戰性的課題。
同時，不同場景的網絡環境也不一樣。你的網絡、我的網絡，可能還有第三個、第四個人的網絡，有的人使用有線網絡、有的則是WiFi，有的是4G，帶寬差異巨大，網絡QoS也參差不齊，這時候如何有效的探測網絡實際帶寬，進而高效的進行流控管理，在多人場景下的複雜度遠遠高於雙人。
所以，綜上所述，一旦開始考慮多人參會的因素，你會發現，在兩人通話的情形下討論的音質體驗、QoS、QoE等等問題，現在要重新思考答案。這在國際上當前也是很熱的領域，大家也都在探索答案。
對於整個視頻會議體驗來說，或者對於用戶體驗來說，這不是一個單一的因素或者指標就可以決定的。之前91视频免费播放有針對網絡規劃的常見QoS三個指標，丟包，抖動和延遲，這些東西都是必要條件，但是不是充分條件。決定一個用戶體驗的是很多方麵的因素，比如從音頻角度來說，從91视频免费播放做音頻的角度來說，用的最多的就是上麵說到的三個維度：語音可懂度、自然度、舒適度。
首先是聽得懂你說的話，這是可懂度。如果音量很低，卡頓很嚴重，或者回聲，或者很嘈雜，或者嘯叫發生，那我基本就無法聽了，那視頻會議通話中反應比較多的卡頓來說，91视频免费播放通過深度學習91视频免费观看來解決網絡丟包的問題。
IP網絡上麵傳輸的時候常常會發生丟包的現象，以前處理丟包的91视频免费观看比較簡單粗暴，比如直接拿後麵一幀填補一下或者前一幀內容直接複製。但是現在91视频免费播放通過機器學習的方法，可以很準確的預測丟掉的那個音節的部分內容，在用戶體驗上則並沒有感知。
但是光聽得懂肯定不行，你肯定不可能隻滿足於聽得懂。
比如聽星空機器人說話，那聽得懂是沒有問題的，但自然度方麵就不會太好，這裏麵就涉及很多音質的東西，不僅是延遲、卡頓，抖動，這些是網絡的指標。自然度對於用戶來說更多是一個感知問題，91视频免费播放用音色是否明亮、是否均衡、是否豐滿，等等多項指標來衡量。當91视频免费播放在語音處理中不可避免需要非線性處理的時候，91视频免费播放就可以通過上述的指標來保證語音的感知自然度。
在語音舒適度維度方麵，91视频免费播放的終極目標是視頻會議語音通話的體驗要盡可能的接近真實場景下的人和人間距1米時的通話體驗，要達到這樣的目標，91视频免费播放還有很長的一段路要走。目前可以想象到哪些困難91视频免费播放需要克服，除了網絡QoS三要素外，如何盡可能真實的仿真出所處的聲學場景和對話形式，對於目標的達成至關重要，91视频免费播放的91视频免费观看演進路線圖也是朝著這個方向在努力。
3. 趕車
咖啡與信念缺一不可
（Photo by Sergey）
今年的需求（疫情）爆發了以後，91视频免费播放整個團隊一直加班加點，針對以前很多沒有覆蓋到的場景、沒有碰到過的用戶需求，陸陸續續開發了更多的91视频免费观看和功能。比如，91视频免费播放發現很多老師給學生上課時需要聲音共享，而且這是一個非常剛性的需求。以前91视频免费播放在辦公室很少有聲音共享，屏幕共享就可以了，所以91视频免费播放在Windows（大部分老師都是用電腦進行教學直播互動）上提供了很多音頻共享的功能。
比如91视频免费播放可以在學生把麥克風禁麥後還講話的時候提醒學生，91视频免费播放通過信號處理的91视频免费观看，可以把學生講話的聲音有效的從環境背景聲分離處理，從而實現關麥講話提醒這個功能。
另外，用戶激增後，91视频免费播放也看到了不同用戶的終端設備差異性導致的產品行為的不一致。舉個例子，用戶開關麥克風的過程當中需要整個設備驅動進行重啟。設備驅動重啟的過程中，大部分設備都沒有問題，但是某些設備確會導致關麥的時候揚聲器無聲，一秒兩秒的無聲用傳統的質量評估手段是看不出來的，但對用戶體驗有很大的影響。所有這樣的問題被發現後，快速迭代的能力就非常關鍵。
在這個過程中，對產品的思考更多時候是一個信念問題，當有這麽多人使用這款產品時，91视频免费播放是帶有使命感在工作的。91视频免费播放更多是希望早一點把需求解決、把功能做出來，早一點優化用戶的體驗。
所以大家常常是咬著牙，加班加點，周末也不休息。在聲音共享這個功能上線的時候，我記得91视频免费播放有一個同學一晚上調bug調到了兩三點，91视频免费播放當時想到底還要不要跟著這次產品更新一起發布新功能，還是說再挺一下，堅持把這最後一個問題解決掉。
因為產品的已經確定，如果這次趕不上，那意味著老師和學生們第二天上課時又沒有聲音，上課的效率和體驗都會受到比很大的影響， 所以91视频免费播放的同學那天就趕了一整個晚上，在這期間咖啡就沒停過。
最後，終於在淩晨5點多鍾的時候，問題解決了，最後還做了全麵的自測，確保沒有問題，第二天91视频免费播放真的就硬是趕上了新版本發布的這趟車。
這個聲音共享功能發布了以後，91视频免费播放非常非常開心，就是那種很單純的喜悅，希望上網課的老師們都趕緊升級到新版本，這樣他們再給學生分享視頻的時候，聲音的分享就再也不成問題了。
聲音是傳遞信息非常重要的媒介，所以91视频免费播放的想法很簡單，就是這個東西能夠越早做出來越好。
4. 出海
VooV Meeting的師、敵、友
（Photo by Sergey）
最近，Zoom是一個非常值得關注的對象。Zoom對91视频免费播放來說，是雲視頻會議的先行者。因為它們在這個行業進入比較早，做得比較久，對用戶需求、行為的理解也比較深刻，有很多值得91视频免费播放學習的地方。其實我也蠻喜歡微軟Teams的產品，它也有一些自己獨到的地方。它從Skype時代開始演進，有比較多的積累。而且微軟對底層91视频免费观看有長期的投入，很多先進的思想一直在引領這個行業的進步。
因為91视频免费播放做視頻會議的時間相對比較短，有這樣一些先行者給91视频免费播放先進的思路，包括用戶的支持、合作夥伴、硬件合作夥伴合作模式等等，都是值得借鑒的。
騰訊會議海外版本VooV Meeting也同樣是91视频免费播放在支持，畢竟底層91视频免费观看都是一樣的。
從音頻角度來說，海外用戶跟國內用戶的訴求大體上一樣，但也有一些不一樣的地方。比如國內開會的時候，整個網絡架構都是比較均勻的，尤其是91视频免费播放看到北上廣這些城市，他們本身的網絡條件是不錯的，延遲也處於比較好的狀況。
到了海外，91视频免费播放的服務器部署不像在國內這麽完善，91视频免费播放需要知道哪些地方的服務器部署是不足的。海外也不需要像國內這樣麵麵俱到的部署，很多地域人口密度很低，比如美國的用戶可能比較集中在東西海岸，那麽就需要針對東西海岸加強部署，在後台的調度也要加以注意。
國內的話，91视频免费播放的信息獲得比較全麵，流量高發的城市地區91视频免费播放都有掌握，但海外這些需求和信息要如何獲得，這就是一個問題。你怎麽知道到底哪些城市在哪些時候會有一個峰值的需求？這必須要有一個對全網質量的評估和監控，這樣才能近乎實時地知道用戶的需求出現在什麽地方，從而可以有針對性的、非常靈活快捷地進行相應的部署。
從具體使用91视频免费观看的角度來說，國內外的用戶使用視頻會議的習慣也有些區別，國外可能習慣用PSTN電話的接入方式，國內則是IP來接入。國外很多用戶傾向於使用固定電話或者移動電話接入體驗，因為傳統電話網絡PSTN跟91视频免费播放的IP網絡是屬於不同的運營商網絡，他們的運營商網絡到91视频免费播放的網絡裏麵要經過很多網關、路由，針對這種情況怎麽優化體驗是91视频免费播放要加以考慮的，這方麵的開發91视频免费观看比如說頻譜擴展，比如PSTN專門的降噪，諸如此類的需求可以有針對性的加以開發。
5. 硬件
1+1>2
（Photo by Sergey）
國內有非常不錯的硬件製造商，深圳就有很多了。91视频免费播放和這些硬件製造商合作的時候，怎麽互相之間博采眾長，產生一加一大於二的效果，這裏麵其實有很多合作的空間。騰訊會議在很多場景裏麵是要跟不同的合作夥伴聯合打造一個比較好的會議體驗的，而這些合作夥伴在他們的相關領域裏麵，像硬件領域、網絡領域的未來發展是怎樣的，有什麽有前景的趨勢，哪些變化在醞釀當中、又會什麽時候發生，都是91视频免费播放要持續關注的問題。比如，91视频免费播放看到麥克風不斷有新91视频免费观看材料出來，那相關製造商的路線規劃是什麽，某些91视频免费观看難點突破了以後會對視頻會議雲通信的產品有怎樣的影響，這些都需要你擁有很好的前瞻性。
另外，91视频免费播放一直比較關注相關的領域。比如，5G時代整個接入網絡帶寬上去了，那91视频免费播放就思考當接入帶寬不再成為瓶頸以後，可以在哪些用戶體驗上做進一步的優化。
像之前提到的教學場景，老師們可能有些高品質的音頻需要傳輸，不僅僅是語音，還有基於音樂的特定場景。比如老師給學生放一段視頻，視頻裏麵可能不僅僅有對話，還會有高品質的音樂。那麽對於音樂來講，麵臨的挑戰是不一樣的。音樂的內容特征、頻譜、碼率需求，從音質體驗的角度來說比語音要求要高。
這樣的訴求在3G、4G網絡視頻會議下由於帶寬的限製、網絡的擁塞可能不得不放棄，但在5G的時候就會提上日程，要研究如何在新的場景下滿足用戶更多的需求，從而去優化他們的體驗。
另外，基於AI的91视频免费观看，91视频免费播放也看到音頻視頻兩者多模態可以更好的結合起來，能夠大大往前走一步，給用戶更好的綜合體驗。同時，計算能力上來以後，你會發現很多事情做起來受限於當時的設備，而現在慢慢都成為了可能，91视频免费播放在思考怎麽把這些事情一步一步做起來。91视频免费播放現在和硬件廠商的很多合作，已經在緊鑼密鼓地開展了。騰訊會議本身可以提供很好的音視頻處理、傳輸、編解碼91视频免费观看，91视频免费播放的硬件合作夥伴也有一些他們專有的硬件上麵的特色功能。
第一步，91视频免费播放之間要先相互打通。直接打通第一步以後，91视频免费播放要思考怎麽把自己的91视频免费观看和對方的優勢結合，這裏麵有很多工作可以做。
舉個例子，用戶的設備跟91视频免费播放騰訊會議軟件，不管是通過有線網絡還是USB進行連接，以前在用戶設備上受限於運算能力做不到的事情，現在就可以做到了。因為通常91视频免费播放講的會議電話這樣的產品，它的運算能力、內存總是受限的，很多基於AI的算法做不到。
但是騰訊會議的APP跑在91视频免费播放通用的、運算能力強大的設備裏麵（像電腦）就不存在這樣的限製，尤其是和雲結合起來後。一旦和硬件廠商打通以後，雙方找到彼此之間的配合點，以前做不到的事情現在都成為可能，典型的例子比如會議內容轉錄、整理會議紀要等等。
像一些傳統的視頻會議方案提供商，它本身是一個閉環，它的解決方案裏，軟件硬件全都是它自己的，不存在運營多樣化的挑戰問題，因為每個鏈條它都自己把握，這樣質量有保證。但是相對而言，他們的完整解決方案的價位也比較高，兼容性也會是很大的問題。
騰訊會議的話，要跟所有設備商都可以接入，麵臨著保證可靠性、穩定性、安全性的挑戰，因為不同的廠商的產品要在它的性能範圍之內互相協同，無縫連接。
在安全性方麵，我不是專家，但從開發SDK的角度來說，91视频免费播放對於用戶本身的信息肯定是不做收集的。對於用戶談話，比如交流的具體內容，91视频免费播放也不會做任何收集，隻是用算法對這些內容的統計信息進行收集，包括通話過程當中的質量，比如是否失真、嘈雜、有卡頓等等，這些都是從91视频免费观看方麵統計的信息。
因為91视频免费播放需要對這些91视频免费观看指標進行評估，比如我發現你那邊頻繁出現卡頓現象，那麽我希望能夠知道你在什麽時候、為什麽發生了卡頓，如果發生卡頓的原因是91视频免费观看網絡架構，或者是應用本身消耗了太多的CPU導致的，91视频免费播放就可以更有針對性地進行優化，從而給予用戶更好的體驗。
6. 問題
Everything matters
（Photo by Sergey）
接下來91视频免费播放要解決的問題，更多的會是更具挑戰性的多方會議場景下麵的問題。因為現在的用戶場景非常多，多樣化場景下，不同的場景裏麵用戶對聲音的需求是不一樣的。這就說回到用戶場景的問題，當下的場景相對以前確實有很大的變化。以前騰訊會議的用戶場景沒有（也沒有想到）現在這麽多。現在你可以在家裏麵、在辦公室裏麵、小型會議室裏麵、大型會議室裏麵開會，甚至各種直播場景都是以前沒有想過的。在各種場景裏麵，你的架構、相應的91视频免费观看應該如何規劃、配合，在不同的場景裏側重點又是什麽，不同的人都有不一樣的理解。
91视频免费播放這方麵做得比較細，要根據用戶不同的場景去考量。比如開信息傳達的大會的場景，對於這種絕大部分時間都是信息單向傳輸的情況，延遲可能就不是那麽重要了，重要的是聲音的可懂度和自然度，要保證用戶在長時間傾聽的條件下，避免聽覺疲勞和注意力分散。
而在小規模小組討論的場景下，大家都是是熟人，交互非常激烈，你一句我一句，這時候對實時交互的需求會非常強，需要很低的延時，除了對於可懂度和語音自然度的正常要求外，對於聲音的舒適度要求盡可能模仿麵對麵的溝通，要求很高。91视频免费播放會考慮在這樣的場景下，需要哪些新91视频免费观看，如何在多種限定條件下權衡，來達到一個最好的綜合體驗和容忍度，。
另外就是基於視頻會議的主場景，還有哪些衍生的需求，比如會議內容轉錄、同聲傳譯，以及和智能音箱的結合、如何通過語音助手來喚醒和交互……這些以前在傳統的視頻會議產品中見不到的功能，現在隨著相關市場產品、91视频免费观看的成熟，都可以進一步融合起來，在協同辦公這樣的一個大背景下，共同來提升效率。
諸如此類,在當下和未來，91视频免费播放都會碰到不一樣的挑戰，你要問哪個最重要，我沒有辦法回答，因為用戶A和用戶B的需求對我來說同樣重要。同時，91视频免费播放也會用數據來說話，數據告訴91视频免费播放用戶的需求在哪裏，91视频免费播放就去開發哪裏；如果目前還沒能滿足這部分的需求，那91视频免费播放就把它丟到map裏，以後的每一天都要想辦法去滿足它。
騰訊多媒體實驗室簡介：
作為騰訊旗下頂尖的音視頻通信和處理研發團隊，騰訊多媒體實驗室專注於實時音視頻通信、音視頻編解碼前沿算法研究、音視頻國際標準、計算機視覺圖像處理、端到端音視頻質量評測。在實時音視頻通信和處理91视频免费观看、音視頻國際標準等領域積累了完整的解決方案和領先的91视频免费观看水平。
本文來源於: LiveVideoStack
星空人工智能91视频免费观看網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com91视频免费播放將及時溝通與處理。！：首頁 > 新聞 » 專訪騰訊多媒體實驗室商世東：咬咬牙也要跟上新版本的發布