白皮書主要觀點
混合AI將支持生成式AI應(yīng)用開發(fā)者和提供商利用邊緣側(cè)終端的計算能力降低成本?;旌螦I架構(gòu)或僅在終端側(cè)運行AI,能夠在全球范圍帶來高性能、個性化、隱私和安全等優(yōu)勢?;旌螦I架構(gòu)可以根據(jù)模型和查詢需求的復(fù)雜度等因素,選擇不同方式在云端和終端側(cè)之間分配處理負載。
隨著強大的生成式AI模型不斷縮小,以及終端側(cè)處理能力的持續(xù)提升,混合AI的潛力將會進一步增長。參數(shù)超過10億的AI模型已經(jīng)能夠在手機上運行,且性能和精度達到與云端相似的水平。不久的將來,擁有100億或更高參數(shù)的模型將能夠在終端上運行。
高通作為終端側(cè)AI領(lǐng)導(dǎo)者,面向包括手機、汽車、XR頭顯與眼鏡、PC和物聯(lián)網(wǎng)等在內(nèi)的數(shù)十億邊緣終端,提供行業(yè)領(lǐng)先的硬件和軟件解決方案,對推動混合AI規(guī)?;瘮U展獨具優(yōu)勢。
高通的AI引擎和軟件棧為加速終端側(cè)AI推理提供了解決方案,并具備行業(yè)領(lǐng)先的性能和能效優(yōu)勢。憑借一系列基礎(chǔ)研究,以及跨AI應(yīng)用、模型、硬件與軟件的全棧終端側(cè)AI優(yōu)化,持續(xù)創(chuàng)新讓公司始終處于終端側(cè)AI解決方案的最前沿。
白皮書主要內(nèi)容