2024年世界人工智能大會(以下簡稱:WAIC 2024)依然是一場“百模大戰(zhàn)”,不過有一些很明顯的變化是:新推出的AI大模型更加注重用戶體驗(yàn);邊側(cè)和端側(cè)承載AI大模型的方案越來越多。也就是說,AI大模型不僅完成了從“能用”到“好用”的蛻變,也從高高在上的云端,走到更靠近應(yīng)用場景的邊側(cè)和端側(cè),這給作為方案核心的推理芯片提出了非常高的要求。
在愛芯元智于WAIC 2024舉辦的“芯領(lǐng)未來丨智能芯片及多模態(tài)大模型論壇”上,愛芯元智創(chuàng)始人、董事長仇肖莘在主旨演講中表示,大模型真正大規(guī)模落地需要云邊端三級緊密結(jié)合,而邊側(cè)和端側(cè)結(jié)合的關(guān)鍵在于高能效的邊端AI芯片。
愛芯元智創(chuàng)始人、董事長仇肖莘仇肖莘指出,目前基于愛芯元智AI芯片已經(jīng)完成非常多款A(yù)I大模型的適配,能夠支持的參數(shù)規(guī)模覆蓋0.3B-7B。“搭載AI處理器的高效推理芯片將是大模型落地更合理的選擇,這也是推進(jìn)普惠AI的關(guān)鍵所在。”
愛芯智眸AI-ISP和愛芯通元NPU
在AI芯片的研發(fā)上,愛芯元智打造了廣受業(yè)界認(rèn)可的愛芯智眸AI-ISP和愛芯通元混合精度NPU兩大自研核心技術(shù)。其中,愛芯智眸AI-ISP是將深度學(xué)習(xí)算法與傳統(tǒng)的ISP處理單元相結(jié)合,利用像素級AI處理技術(shù),在各種復(fù)雜應(yīng)用場景中,全面提升成像效果,為后期智能處理提供高質(zhì)量的圖像、視頻素材,作為萬物智能的“眼睛”感知更多信息,特別是暗光全彩的剛需。
愛芯通元混合精度NPU是以算子為原子指令集的AI計算處理器,采用多線程異構(gòu)多核設(shè)計,實(shí)現(xiàn)算子、網(wǎng)絡(luò)微結(jié)構(gòu)、數(shù)據(jù)流和內(nèi)存訪問優(yōu)化,高效支持混合精度算法設(shè)計,原生支持Transformer網(wǎng)絡(luò)結(jié)構(gòu),為大模型在邊緣側(cè)、端側(cè)的應(yīng)用提供良好的基礎(chǔ)。
仇肖莘談到,愛芯元智現(xiàn)階段奉行以“AIoT+ADAS”為主的一體兩翼戰(zhàn)略路線,在AI大模型進(jìn)入邊側(cè)和端側(cè)的過程中,智慧城市和智能汽車都是非常具有代表性的應(yīng)用場景。“目前端側(cè)大模型落地依然在前期探索階段,我認(rèn)為智能汽車、AI手機(jī)和AIPC將會是第一批落地的場景,智能駕駛之所以需要端側(cè)大模型原因在于汽車對實(shí)時性的要求更高。”
愛芯智眸AI-ISP作為AI芯片的子系統(tǒng),為解決很多端側(cè)場景圖像問題提供了強(qiáng)力支持。比如在智能駕駛場景中,愛芯智眸AI-ISP提供AI星光全彩、AI HDR成像、AI多光譜融合、AI防抖、AI場景增強(qiáng)、AI多傳感器融合六大技術(shù)亮點(diǎn),能夠幫助智能汽車在大雨、大霧、夜間和隧道等惡劣的駕駛環(huán)境中獲取清晰的圖像。
當(dāng)然,AI技術(shù)的發(fā)展也在推動AI-ISP的創(chuàng)新。以愛芯智眸AI-ISP來說,目前AI算法已經(jīng)取代了降噪模塊、防抖模塊。仇肖莘認(rèn)為,后續(xù)AI-ISP發(fā)展一個值得探索的方向是,AI-ISP是不是也能夠成為一個“黑盒式”的AI大模型,用AI算法取代更多ISP中的功能單元,使得AI-ISP能夠利用CMOS圖像傳感器的信號直接成像,讓用戶不必再去考慮ISP工作的中間環(huán)節(jié)。
在AI芯片的打造上,愛芯通元混合精度NPU的優(yōu)點(diǎn)不只是原生支持Transformer網(wǎng)絡(luò)結(jié)構(gòu),還包括通過可編程數(shù)據(jù)流DSA架構(gòu),能夠覆蓋目前用戶需要的基本算子,成本、效能和運(yùn)算效率都非常高。仇肖莘說,“AI算法發(fā)展至今已經(jīng)非常成熟,進(jìn)入一個較為穩(wěn)定的狀態(tài),因此用戶對于算子的需求不再有日新月異的變化,這是愛芯元智能夠打造通用AI處理器的關(guān)鍵。”
根據(jù)愛芯元智聯(lián)合創(chuàng)始人、副總裁劉建偉的介紹,此次論壇上正式發(fā)布的愛芯通元AI處理器在高中低三檔算力中已完成布局,并在智慧城市和輔助駕駛兩個領(lǐng)域?qū)崿F(xiàn)了規(guī)模化量產(chǎn),能效比較GPGPU芯片提升了一個數(shù)量級,而在以文搜圖、通用檢測、以圖生文、AI Agent等通用大模型應(yīng)用中,愛芯通元AI處理器也可以讓AI開發(fā)者以更低的成本進(jìn)行高效開發(fā)。
愛芯元智聯(lián)合創(chuàng)始人、副總裁劉建偉
讓端側(cè)更好地承載AI大模型
根據(jù)《2024年中國AI大模型產(chǎn)業(yè)發(fā)展報告》,截至2024年3月,國內(nèi)部署大模型的企業(yè)數(shù)量超243家,以通用大模型為主。不過,我們都知道AI大模型成功的關(guān)鍵在于行業(yè)大模型、端側(cè)、端云結(jié)合等多種模式并行。
端側(cè)大模型的部署所面臨的挑戰(zhàn)和云端是完全不同的,需要克服能耗的限制,還需要在足夠小的參數(shù)下,做到大部分日常工作。在WAIC 2024上,愛芯元智在自己的展臺上也展示了其AI芯片在部署端側(cè)大模型方面的能力。
案例一是基于愛芯元智端側(cè)小芯片AX630C部署語言大模型——阿里云通義千問Qwen2.0。AX630C提供3.2T的算力,通過運(yùn)載通義千問Qwen2.0,可以流暢地實(shí)現(xiàn)人機(jī)對話,查詢信息、日常交流等任務(wù)。AX630C運(yùn)載通義千問Qwen2.0每秒能處理超過10個信息單元,但功耗只有1.5瓦。
案例二是愛芯元智端AX650N結(jié)合CLIP模型可以實(shí)現(xiàn)以文搜圖的功能,只需要一個詞、一句話或一段文字,系統(tǒng)就能迅速準(zhǔn)確地從海量圖片中找到匹配項(xiàng)。
案例三是基于愛芯元智端AX650N運(yùn)轉(zhuǎn)多模態(tài)多維感知大模型OWL-ViT大模型,精準(zhǔn)完成對未知目標(biāo)檢測,實(shí)現(xiàn)圖像自動標(biāo)簽化。
正如上文提到的,愛芯通元AI處理器提供完備的算子集合,因此對于市面上的大模型能夠提供非常好的支持,并且適配的速度是非常快的。比如,今年4月份,meta發(fā)布了meta Llama 3系列語言模型(LLM),具體包括一個8B模型和一個70B模型。隨后不久,愛芯元智就宣布,愛芯通元AI處理器完成Llama 3和Phi-3大模型適配。在Llama 3模型的適配上,愛芯元智AX650N芯片適配了Llama 3 8B Int8版本,若采用Int4量化,每秒token數(shù)還能再翻一倍,能滿足正常的人機(jī)交流。仇肖莘強(qiáng)調(diào),愛芯元智的AI芯片對INT2、INT4、INT8、INT16混合精度算力都可以支持。
AI大模型的發(fā)展已經(jīng)進(jìn)入一個新階段,行業(yè)大模型以及云邊端結(jié)合的大模型是下一步發(fā)展重點(diǎn)。在端側(cè)運(yùn)轉(zhuǎn)大模型有不一樣的挑戰(zhàn),能耗和參數(shù)規(guī)模都會受到限制,但用戶體驗(yàn)不能打折。愛芯通元AI處理器以及愛芯元智AX650N等AI芯片展示出了非常好的端側(cè)大模型支持能力,在普惠AI的道路上邁出了堅實(shí)一步。
（來源：轉(zhuǎn)自互聯(lián)網(wǎng)，轉(zhuǎn)載是出于傳遞更多信息之目的，如對稿件內(nèi)容有疑義，請及時與我們聯(lián)系，侵刪）
