北京2022年12月15日 /美通社/ -- 以下為來自21ic電子網(wǎng)的報道:
距離馬里亞納 X發(fā)布時隔僅一年的時間,OPPO就在今年未來科技大會上發(fā)布了其第二款自研芯片 -- 馬里亞納 Y。和第一顆自研芯片不同:馬里亞納X是一顆具備“計算+影像”能力的專用NPU,而馬里亞納 Y則是集合了“計算+音頻+連接”能力的旗艦級藍牙音頻SoC。馬里亞納 Y突破了設(shè)計上的挑戰(zhàn),在一個Die上實現(xiàn)了“基帶、數(shù)字和射頻”的整合,為藍牙無線傳輸帶來192kHz/24bit的無損音頻體驗,更讓未來個性化音頻體驗成為可能。
馬里亞納 Y開啟了OPPO自研芯片的第二象限,也為OPPO未來的“萬物互融”生態(tài)奠定了無線連接的硬件技術(shù)底座。
高品質(zhì)音頻體驗的未來:無線+無損+個性化
據(jù)Luminate 2022年上半年報告顯示,全球流媒體音樂同比增長了24.7%;QuestMobile 2022上半年報告顯示,中國移動音樂用戶規(guī)模已達到龐大的7.06億。用戶在移動設(shè)備上的音頻體驗需求增長強勁,同時對于音質(zhì)的要求也越來越高。據(jù)《2022音頻產(chǎn)品使用現(xiàn)狀調(diào)研報告》顯示,61%的消費者想要比MP3更出色的音質(zhì)體驗,例如44.1kHz/16bit的CD音質(zhì)、高于96kHz/24bit的高解析音質(zhì)和192kHz/24bit無損音質(zhì)。
可以看到,近年來流媒體平臺的曲庫質(zhì)量也在迅速提升。Spotify已宣布將推出“Spotify HiFi”服務(wù),Amazon Music平臺也有數(shù)百萬首無損音頻,Apple Music已有超過7500萬首的無損音頻歌曲提供。在國內(nèi),QQ音樂已提供高解析音頻(Hi-Res)和無損音頻;網(wǎng)易云音樂也已支持CD音質(zhì)無損,并在Hi-Res專區(qū)提供96kHz/24bit規(guī)格以上的音樂。
當前用戶已經(jīng)習(xí)慣了使用無線音頻設(shè)備,并渴望在此基礎(chǔ)上獲得無損的音頻體驗,但問題在于:目前藍牙傳輸速率不足以滿足無損音頻的高帶寬傳輸要求,無損音頻仍被困在有線設(shè)備中。
最新藍牙5.3標準中,EDR(Enhanced Data Rate)支持的理論最大速率為3Mbps,然而在實際應(yīng)用場景中受到復(fù)雜環(huán)境因素影響,往往只能發(fā)揮大約一半的實際速率(1.5Mbps),這并不能達到無損音頻的傳輸實際要求。如下圖所示,更好的無損音質(zhì)體驗往往意味著更高的音頻傳輸速率,像高解析音質(zhì)體驗的實際傳輸速率要達到2.3Mbps,而像Apple Music提供的192kHz/24bit的無損音頻,實際傳輸速率要求是2.5Mbps,當前的市面上所有的藍牙耳機均無法支持。
理論需求速率 |
壓縮后的實際速率 |
|
48kHz/24bit無損音頻 |
2.25Mbps |
≈1.1Mbps < 1.5Mbps |
96kHz/24bit無損音頻 |
4.5Mbps |
≈2.3Mbps > 1.5Mbps |
192kHz/24bit無損音頻 |
9Mbps |
≈4.5Mbps >> 1.5Mbps |
注:無損壓縮按照目前最高50%計算
除了追求高品質(zhì)無損的體驗外,計算+音頻也是近年來的一個流行趨勢。高品質(zhì)音樂體驗不僅意味著清晰度和保真度,還代表著用戶能夠獲得個性化的體驗。像蘋果在Airpods上的提供的主動降噪、通透模式、佩戴自適應(yīng)和空間音頻這些全新體驗,也深受消費者所喜愛。
但當前音頻計算更多的是基于DSP的計算,AI并沒有真正走入計算音頻的大門。在未來隨著芯片算力提升,計算音頻將邁入以“打造個性化體驗”為主的第二階段。例如針對用戶個人的頭型和耳廓形狀,定制HRTF模型,獲得最符合個人的聽感等。
無線+無損的音頻體驗,現(xiàn)在已經(jīng)成為現(xiàn)實。OPPO此次最新發(fā)布的馬里亞納 Y,解決了藍牙音質(zhì)的難題,讓192kHz/24bit 無損音頻首次實現(xiàn)無線化。馬里亞納 Y內(nèi)集成的590 GPOS高算力自研NPU,也為計算音頻邁入第二階段奠定了算力基礎(chǔ)。
馬里亞納 Y:行業(yè)最高算力的旗艦級藍牙音頻SoC
馬里亞納 Y 是一顆旗艦級藍牙音頻SoC芯片,采用了臺積電N6RF的先進工藝,將射頻、計算和數(shù)模轉(zhuǎn)換的部分放在一顆芯片上,不僅在每一個特性上都實現(xiàn)了行業(yè)突破的性能,整合起來又滿足了移動端上低功耗的嚴苛要求。
超前12Mbps藍牙速率
目前行業(yè)內(nèi)藍牙SoC平臺的最高速率是6~8Mbps,耳機端的最高藍牙速率為3Mbps,而馬里亞納 Y上達到了超前的12Mbps的藍牙速率,是標準藍牙的4倍。即使和當前通用旗艦芯片8Mpbs的藍牙速率相比,也達到了其1.5倍。在實際的音頻傳輸中,馬里亞納 Y可以達到4-5Mbps的有效速率,因此可以很好地滿足192kHz/24bit的無損音頻傳輸要求。
超前12Mbps藍牙速率帶來的音質(zhì)提升,并不僅僅局限于192kHz/24bit,對于其他格式的音頻的提升也具有明顯的效果。因為在實際的藍牙環(huán)境非常復(fù)雜,遇到較差環(huán)境時為保證連接勢必會被迫降低碼率,導(dǎo)致音質(zhì)打折。12Mbps藍牙速率就可以給像96kHz/24bit、48kHz/24bit等音頻提供更大的冗余,從而保證其音頻傳始終保持在一個很好的水平。
私有URLC算法實現(xiàn)50%壓縮率
為了配合12Mbps超高速藍牙,OPPO推出了私有無損編解碼算法 -- URLC(Ultra-Resolution Lossless Codec)。據(jù)悉,URLC具備四大領(lǐng)先優(yōu)勢:首先,URLC是除了Apple Lossless之外唯一支持192kHz/24bit的音頻編解碼技術(shù),相比藍牙LE Audio LC3的48kHz采樣率,URLC優(yōu)勢明顯。另外,URLC將無損壓縮率首次提升到了50%,這也就是意味著傳輸同樣的音頻數(shù)據(jù),通過URLC技術(shù)可以實現(xiàn)更小的帶寬占用。第三,URLC支持80Kbps~10Mbps動態(tài)碼率,相比通用方案有更大的調(diào)節(jié)區(qū)間,也就意味著在復(fù)雜的外部環(huán)境中,馬里亞納 Y可以通過更精細的碼率調(diào)節(jié)實現(xiàn)更優(yōu)秀的音質(zhì)體驗。第四,URLC支持在芯片端的音頻分離的功能,相比市面上大部分基于云端的音軌分離方案,可以實現(xiàn)“實時”的定制音頻效果。
超前590 GOPS算力的NPU集成
作為首個集成NPU單元的藍牙音頻SoC,馬里亞納 Y的NPU算力達到了超前的590 GOPS。此外芯片內(nèi)部還集成了一個25 GOPS算力的高性能DSP,同樣是行業(yè)最強DSP之一。與之相對的,當前全球最高銷量的耳機芯片的算力僅為9 GOPS。
在音頻SoC中集成NPU,可以實現(xiàn)能效和性能的全面提升。橫向?qū)Ρ葋砜?,當前音頻SoC中傳統(tǒng)DSP單元更適合進行音樂播放、EQ調(diào)整、編解碼等工作,但在運行AI算法時,NPU要比DSP更為高效。從系統(tǒng)層面來看,獨立的NPU可以提供手機SoC之外的音頻專屬算力,從而提高了耳機和手機之間的傳輸實時性。
據(jù)OPPO芯片產(chǎn)品高級總監(jiān)姜波介紹,隨著算力復(fù)雜度的提升,如果只用DSP而沒有NPU,就很難達到好的效果。同樣是降噪,也有不同的最終呈現(xiàn)效果,更好的效果要求的算力會更高。目前在第三方算法在傳統(tǒng)細分領(lǐng)域,已經(jīng)用DSP+NPU做一些聲音的處理,因為它的效果比當前純DSP的方案要好,這是一個循序漸進的過程。
全球頂尖的N6RF射頻工藝
馬里亞納 Y的定位是旗艦級藍牙SoC,那么必然要追逐最為先進的射頻工藝節(jié)點,在此基礎(chǔ)上完成的設(shè)計才能最終達到符合預(yù)期的芯片PPA目標。N6RF是臺積電在去年6月才宣布推出的最新的工藝,是全球第一的射頻工藝。而目前采用N6RF工藝的芯片產(chǎn)品鳳毛麟角,只有蘋果H2芯片、蘋果S8芯片中的GPS模塊和馬里亞納 Y。
任何音樂皆可全景聲
憑借上面列舉的行業(yè)領(lǐng)先特性,馬里亞納 Y首次在藍牙傳輸中實現(xiàn)了192kHz/24bit 無損音頻,并且開啟了計算音頻的全新體驗?;趶姶蟮腘PU,馬里亞納 Y首次在端側(cè)實現(xiàn)了聲音分離技術(shù),可以從一段完整的音頻數(shù)據(jù)中,識別和分離人聲或其他特定樂器(鼓聲、貝斯、其他)的聲音。傳統(tǒng)上需要多軌的音頻工程文件才能實現(xiàn)的事,現(xiàn)在AI可以針對任意一首普通的音樂文件輕松完成;利用這一聲音分離技術(shù),馬里亞納 Y可以為用戶提供下一代的個性化聽音方案。
當前基于馬里亞納 Y,OPPO提供了兩類計算音頻的體驗。一是自定義全景聲,用戶可以自由修改AI分離后每條音軌的音量和位置,創(chuàng)造個性化的聽覺體驗。二是萬能全景聲,可以將任意普通音頻,實時轉(zhuǎn)化成立體聲、環(huán)繞聲或者全景聲,形成極具沉浸感的聽覺體驗?!皬膽?yīng)用視角來看,馬里亞納 Y這顆芯片設(shè)計具有一定的超前性,兩年以后它的算力、工藝制程等各方面也會保持一定競爭力?!苯ǚ窒淼?。
開啟芯片自研第二象限,夯實“萬物互融”技術(shù)底座
作為第二顆自研芯片,馬里亞納 Y的意義重大。首先是在計算音頻的探索方面,馬里亞納 Y的冗余算力,讓AI賦能計算音頻成為可能,未來更多全新的個性化體驗呼之欲出。另外更重要意義在于,這顆芯片代表著OPPO擁有了業(yè)內(nèi)領(lǐng)先的短距射頻連接能力,為“萬物互融”奠定了硬件技術(shù)底座。
探索AI+計算音頻的未來
早在2016年,OPPO就通過AI算法實現(xiàn)了前置單攝的人像模式;在2021年的馬里亞納 X上,通過AI計算實現(xiàn)了4K視頻降噪、單攝準確景深測算等功能;而今天發(fā)布的馬里亞納 Y,正在探索AI+計算音頻的未來。自定義全景聲和萬能全景聲只是馬里亞納 Y對NPU和聲音分離技術(shù)結(jié)合的第一次嘗試,未來還有更多空間可以探索。
全球領(lǐng)先的科技公司和研究機構(gòu),正在積極探索AI如何實現(xiàn)下一代的聲音體驗。但當前的算法框架更多依賴于云端的計算硬件,有了馬里亞納 Y的NPU加持,未來類似的算法在設(shè)備端的部署將會成為可能。例如利用聲音分離技術(shù),實現(xiàn)更加純凈的通話降噪效果;利用聲音分離技術(shù)對老電視劇的人物對話進行增強;或是利用這一技術(shù)實現(xiàn)隨時隨地的卡拉OK體驗等等。除了這些和音質(zhì)相關(guān)的AI增強優(yōu)化外,其他一些智能的應(yīng)用,像音頻內(nèi)容分類、環(huán)境感知、自然語義處理等也有望在設(shè)備端實現(xiàn)突破。
夯實萬物互融的連接基礎(chǔ)
此次OPPO未來科技大會上的主題是“致善·三生萬物”,而這個“三”,指的就是OPPO硬件(馬里亞納自研芯片)、軟件(潘塔納爾跨端系統(tǒng))和服務(wù)(安第斯智能云)。2019年OPPO未來科技大會上,OPPO創(chuàng)始人兼首席執(zhí)行官陳明永提出“萬物互融”的概念,而今隨著安第斯智能云的發(fā)布,OPPO 硬件+軟件+服務(wù)的布局正式宣布完成,芯云一體、軟硬結(jié)合,將為用戶帶來全新的萬物互融體驗。
要實現(xiàn)萬物互融,低功耗無線連接必不可少。而要追求極致的連接體驗和生態(tài)融合,選擇市場上的通用方案顯然是不夠的。作為系統(tǒng)廠商對于用戶場景的理解更為深刻,能夠根據(jù)想要達到的實際場景來反推軟硬件的定制化方向,而通用芯片廠商則更追求市場統(tǒng)一的標準。
姜波表示,“端對端的連接技術(shù)是硬件能力里特別重要的基礎(chǔ)性技術(shù)。OPPO強調(diào)萬物互融,未來會在短距通信、端到端的體驗上做很多探索和改進。馬里亞納 Y讓OPPO第一次在端到端,通過私有協(xié)議實現(xiàn)了連接。這個連接的基礎(chǔ)能力是OPPO一定要建立的。”
OPPO的造芯之路:勤學(xué)不輟,持之以恒
去年發(fā)布的馬里亞納 X已經(jīng)實現(xiàn)了千萬級的出貨量,并且在終端體驗上獲得了用戶的認可。雖然馬里亞納 X是一顆協(xié)處理器,但是一個完整的系統(tǒng),代表OPPO具備了完整的系統(tǒng)SoC的能力。而今天發(fā)布的馬里亞納 Y,則代表著OPPO實現(xiàn)了連接能力的掌握。兩顆高端自研芯片的發(fā)布,讓我們看到了OPPO堅持長期主義和極致探索的造芯理念。
在芯片產(chǎn)品定義上,OPPO擅長找到差異化的點,并始終以用戶價值作為根本。姜波表示,“OPPO自研芯片的出發(fā)點,就是能夠給用戶提供價值,這個視角是OPPO規(guī)劃自研芯片時最主要、最根本的出發(fā)點?!币虼耍琌PPO推出自研芯片,并不是為了替換掉某顆芯片,獲得成本收益,而是因為目前的芯片中無法達到其想要獲得的用戶體驗。作為系統(tǒng)廠商,OPPO非??粗卮怪闭蟽r值,同時也兼顧用戶的價值。
從芯片架構(gòu)上來看,馬里亞納 Y上的NPU和馬里亞納 X上的MariNeuro架構(gòu)和側(cè)重點有所不同。對影像來說,需要做很多的像素級的降噪和影像算法。但對于音頻來說,比較側(cè)重于時域的AI推算。另外,馬里亞納 Y上射頻能力要求極高。業(yè)內(nèi)戲稱模擬射頻是一門玄學(xué),這是因為其更考驗設(shè)計者的深刻理解和經(jīng)驗,需要通過摸索去完成設(shè)計目標。超前的藍牙傳輸速率,代表著OPPO已經(jīng)掌握了業(yè)內(nèi)頂尖的短距射頻技術(shù)。
從工藝制程上來看,6nm是一個先進工藝的分水嶺,一次流片費用就高達上億元。而OPPO與臺積電一直密切合作,針對其先進工藝實現(xiàn)前瞻布局。早在N6RF正式發(fā)布前一年,OPPO就已經(jīng)展開了合作,這里除了前端的設(shè)計和驗證團隊外,更考驗芯片后端工程師的專業(yè)度。OPPO通過專門的后端團隊提前測試工藝的特性,確保其在實際流片過程中的芯片達到設(shè)計預(yù)期目標。
從產(chǎn)品布局上來看,OPPO顯然是胸有成竹。馬里亞納 X是協(xié)處理器,而馬里亞納 Y是一顆完整的藍牙SoC。從NPU到SoC是更進一步,而從藍牙SoC到下一步,OPPO還會帶來什么別的具備AI能力的芯片,令人更加期待。
姜波表示,做硬件更需要耐心,要遵循客觀研發(fā)節(jié)奏,腳踏實地。一個芯片從產(chǎn)品定義、設(shè)計、驗證、制造到用戶體驗收集和反饋,整個過程可能需要兩年之久,而迭代往往需要的時間更長。OPPO有超過2000人的芯片團隊,用十年磨一劍的心態(tài)去做好芯片。
結(jié)語
馬里亞納 Y是當之無愧“旗艦級藍牙音頻SoC芯片”,192kHz/24bit無損音頻和藍牙相結(jié)合,引領(lǐng)了移動端的極致音頻體驗;行業(yè)首創(chuàng)的高算力NPU集成,探索未來計算音頻可能。
自研芯片馬里亞納 Y帶來的連接硬實力,是實現(xiàn)萬物互聯(lián)的基礎(chǔ)。從馬里亞納 X到馬里亞納 Y,開啟了OPPO自研芯片的第二象限。OPPO自研芯片,堅持長期主義,持續(xù)在深水區(qū)探索。馬里亞納雖然是極深海域,深不見光,但第二顆自研芯片的發(fā)布,讓我們感覺其自研之路未來一片明媚。