近日，美格智能發(fā)揮軟硬件一體協(xié)同開發(fā)能力，融合阿加犀卓越的AI優(yōu)化部署技術，在搭載高通QCS8550平臺的高算力AI模組上，成功運行了一系列大語言模型，包括LLaMA-2、通義千問Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，展現(xiàn)出卓越的邊緣端大模型部署能力。
▌構建智算底座，加速大模型端側部署
大模型和生成式AI的浪潮席卷全球，帶來人工智能新紀元。大模型誕生之初主要是與云端綁定，而隨著應用場景的拓展，AI開始賦能千行百業(yè)，大模型也需要在越來越多的終端設備上運行。如果說生成式AI是正在高速向前行駛的列車，那算力就是燃料。終端側AI的落地應用，離不開硬件和設備算力的升級。
今年，高通推出了AI算力芯片QCS8550，整合了強大的NPU算力和邊緣側AI處理技術、Wi-Fi 7連接技術以及增強型圖形和視頻處理能力，提供高速、低功耗的AI計算平臺，為終端側AI賦能。
基于高通QCS8550芯片平臺，美格智能推出了高算力AI模組SNM970，綜合AI算力高達48Tops，并支持混合精度計算，為IoT設備打造全新的智算底座。高算力AI模組是承載端側AI無限創(chuàng)造空間的最佳形式，為海量碎片化場景提供穩(wěn)定的通信能力和強大的邊緣算力，讓終端開發(fā)者能夠基于標準化的模組完成低成本、短流程的產品設計和制造，降低大模型的開發(fā)和使用成本。
另一方面，AI從芯片到應用還需要解決跨平臺遷移、異構芯片效率丟失、碎片化的場景需求等挑戰(zhàn)。阿加犀具備成熟的AidLux平臺和行業(yè)領先的開箱即用AI工具鏈，能夠全面提升邊緣設備的AI性能和模型執(zhí)行效率，為AI項目在豐富場景中快速落地提供專業(yè)支持，進一步推動AI應用的終端部署。
此次，美格智能高算力AI模組產品團隊攜手阿加犀，在基于高通驍龍800系列平臺的自研高算力AI模組上成功運行一系列大語言模型，成功驗證了算力模組作為未來大模型邊緣AI算力底座的通用性，對邊緣端生成式AI的支持進一步成熟，有望將生成式AI拓展至更多領域。
美格智能提供具備出色能效比、強大的計算能力的算力模組，結合阿加犀獨有的AI工具鏈帶來的領先的SoC性能調度能力，二者強強聯(lián)合發(fā)揮出模組的極致性能，讓多個參數(shù)達70億的語言大模型，包括LLaMA-2、通義千問Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，都能在算力模組上保持高效運行。
▌高算力AI模組，讓AI觸手可及
美格智能高算力AI模組產品專為終端側、邊緣側AI應用設計，依靠強大的軟硬件一體研發(fā)能力，美格智能持續(xù)推進高算力AI模組的AI硬件不斷升級，至今已經(jīng)歷經(jīng)多代產品演進，涵蓋入門級、中端、旗艦級多層次產品，包括SNM930、SNM950、SNM960、SNM970、SNM972等系列，對應AI算力覆蓋14Tops~48Tops。
同時，美格智能研發(fā)團隊在AI應用場景開發(fā)、AI性能優(yōu)化和AI低功耗程序研發(fā)等領域的設計研發(fā)能力處于行業(yè)領先水平，相關算力產品在各類核心場景大規(guī)模應用，讓智慧零售、智能機器人、智慧交通、智慧農業(yè)、智能制造等各行各業(yè)快速于邊緣端部署大模型，以AI驅動業(yè)務創(chuàng)新。
針對AI邊緣計算領域，美格智能基于高算力AI模組SNM972，助力客戶打造SoC陣列服務器產品。該模組采用MiniPCIe封裝方式，支持16GB LPDDR5X + 256GB UFS 4.0內存，并支持混合精度計算，支持ONNX、Pytorch、CAFFE、TensorFlowLite等模型框架，可輕松賦能各類AI場景。
方案中每個算力節(jié)點采用刀片+陣列式設計，內部實現(xiàn)模塊化及熱插拔設計，可以實現(xiàn)不停機維護。最高可配置80路算力模組，單顆模組內部支持Android虛擬化，可虛擬出多路計算單元，更好地進行算力配置，為實時互動云計算、邊緣AI云計算、云渲染等業(yè)務場景提供最佳算力底座。
AI正在改變世界，美格智能始終以市場需求為導向，與合作伙伴緊密合作，圍繞高算力AI模組打造更多適配行業(yè)的解決方案，拉近大模型和應用之間的距離，把握智慧先機，實現(xiàn)讓AI觸手可及的目標，賦能數(shù)字經(jīng)濟發(fā)展。
