沒錯,下層芯片決定上層應用,AI手機的應用和能力,取決于高通驍龍AI可以支持的程度。那么問題來了:高通驍龍的AI,到底能怎么樣?可能要從戰略路線、產品能力和技術應用三方面回答。
戰略:5G+AI
在今年5月召開的高通AI創新論壇上,當時高通總裁克里斯蒂安諾·阿蒙就分享過對大方向和大趨勢的看法。一句話:兩大技術趨勢,一是5G,一是AI。
西安監控系統 西安監控軟件 西安監控監控系統 西安海康監控 西安高清大華監控 西安三星監控
5G到底能做什么?高通的判斷是更好服務AI,可以為所有終端及其周邊萬物帶來了機器學習和AI等技術。5G會比4G更快、更低時延,但這還不夠,5G還能帶來與額外的處理器進行連接。這也就意味著,移動終端上的邊緣計算能力,將被5G推到新高度,智能終端都會擁有更加強大的計算力。
一個小案例,未來在進行手機游戲時,將達到PC一樣的性能,利用智能手機的系統級芯片(SoC),更好的VR體驗都不再是問題,通過無線邊緣的處理能力,獲得之前只能在專用游戲PC才能享有的體驗。
時也運也,5G帶來的計算變革,與AI結合,諸多目前只有云端才能完成的AI能力,在終端就能實現——每一臺手機都會越用越聰明。以往,AI和機器學習算法模型的訓練、執行和推理都是在云端處理,但5G到來,終端側就能完成訓練、執行和推理,所有的搭載AI處理器的終端設備,都會具有更強的機器學習能力。核心是數據處理將在最靠近數據源的位置處理,對云端處理進行補充。
于是,備受關注的用戶隱私性會得到更好保障,也會有助于個性化體驗。同時,此前終端-云-終端的計算模式帶來的不穩定和時延,都將被終端側計算的穩定性替代,移動環境帶來的計算時延等都將成為歷史??傊?,手機為核心的智能終端,基礎設施要迎來時代性革新。但不意味著把“趨勢”打磨成量產級技術、并裝進手機里,就一馬平川。
4大技術挑戰
一是能效。在大數據量運算中,是否還能降低功耗,提升能效,是AI算法高效運行在移動終端平臺上的關鍵,也是用戶體驗的核心指標——手機發燒,體驗就會變差。
二是個性化。AI最核心的特點就是能夠通過機器學習找到每一個用戶的偏好和行為習慣,然后做出千人千面的反饋和決策。于是如何使深度學習的模型能夠根據個人的特點,進行持續學習、模型調整和保護隱私的分布式學習,也是終端側AI非常重要的挑戰。
三是高效。不比云端無邊無際的“空間”,終端側AI的題中之義就要求要通過最少的數據,實現在半監督甚至無監督的條件下的機器學習,這會直接體現為終端AI應用的千人千面體驗——到底能否快速讀懂你。
四是系統架構。需要有系統底層平臺,讓能效、個性化和高效等問題的解決方案有底層系統性支持。
最后,高通交出的答卷是:驍龍人工智能引擎(AI Engine),也稱AIE。
AIE
AIE,發布之日起就備受關注,因為讓產業界感受到了AI應用正在從具體走向普遍,從部分成為全局。這是一個底層土壤“準備好了”的風向標時刻。然而事實上,這并不是高通驍龍的第一次AI實踐,而是第三次迭代了。
第一代AI平臺是驍龍820,實現了CPU上運行神經網絡,并采用了當時商用領域最為主流的框架Caffe。第二代是驍龍835,引入了神經處理SDK,當時高通與Google和Facebook進行了深入合作,針對兩者提供的框架進行了優化,在終端側支持TensorFlow和Caffe2。無論是TensorFlow,還是Caffe2,曾經都通常在云端運行。但“裝入”驍龍后,一旦網絡經過訓練,開發者就可以從驍龍移動平臺中選擇合適的內核運行,高通對所有這些內核都進行了優化。
另外,離線工具可以在目標運行前,對模型進行轉換、優化、量化。所以在驍龍835推出后,智能手機開始進入智能相冊管理和人臉識別的時代,成為智能手機新賣點。此后,年度大招才被發布。產業迎來當前最主流的升級:驍龍845搭載AIE,其后驍龍710上也搭載AIE——AI引擎首次恩澤千元機。當然,驍龍820、驍龍660等更早發布的處理器,也迅速搭載了AIE。
在構造上,AIE有一系列硬件與軟件組件組成,其中關鍵組件包括——硬件:Hexagon向量處理器、Adreno GPU和Kryo CPU的人工智能優化組合;以及一套軟件工具和庫:驍龍神經處理SDK、Android NN和Hexagon NN。以此讓手機廠商和其他終端開發者,能夠在驍龍內核上處理及加速AI應用。最直接的應用效應,相信你已經在各大手機廠商發布會上耳熟能詳了。比如AI刷臉、拍照翻譯、AI個性化美顏、系統優化,以及學習了用戶行為習慣的負一屏。其實還有更直觀的應用案例,特別是3D視覺和視頻技術,才更顯出AIE帶來的手機能力變化。
技術應用
比如商湯提供的實時視頻風格轉換方案。在視頻拍攝或直播中,可以實現P圖一樣的P視頻,實時為視頻換風格,或者進行人物美化。核心思路就是先將實時將攝像頭采集到的普通視頻,通過模型處理成特定風格化后的效果視頻,但背后需要AIE賦予的AI模型訓練,以及實時計算能力,否則就無法保證風格化之后的視頻的效果,以及保證轉換后視頻的實時性和流暢性。還有曠視科技向手機廠商供應的3D Animoji。也是因為AIE,曠視的算法可以在驍龍芯片上實現更快的處理速度,并在極低功耗的情況下實現復雜的場景感知計算,完成實時3D人臉建模和面部表情肌追蹤等工作。
值得一提的是,AIE在過去半年帶來的最強體驗還是拍照方面的提升,因為有了專屬AI處理和加速,國產安卓旗艦終于可以在無需堆疊硬件傳感器的前提下,通過軟件算法等實現更優質的拍照能力,無論是前置單攝,還是后置雙攝,都可以逆光拍照也清晰,都可以大光圈人像。但面向未來,AIE展現的更大趨勢,肯定還不止于視覺。
未來:終端全面AI化
按照驍龍AIE展現的能力,語音交互無疑會是AI手機們爭奪的下一重要功能。其實基于手機的“虛擬助理”也已經越來越普遍,但在AIE加持下,各家的虛擬助理都會更聰明。
此外,手機側將上馬的智能應用,也會越來越多:而且不止于手機,其他終端硬件都能在搭載AIE的驍龍芯片賦能下,升級為智能終端。無論是可穿戴設備、機器人/無人機、攝像頭、AR/VR,還是其他如車載產品、IoT設備,都可以AI加持。所以贏下了整整一個移動互聯網時代的高通驍龍,照此進程下,還將會繼續成為智能手機行業向前發展的重要刻度尺——也還會是整個智能終端設備的。
換而言之,不光AI手機看高通驍龍,更多智能終端將至未至的變革,也能從高通那里窺見能力雛形。高通的AI平臺到位了,AI終端也就到位了。