近期，國產(chǎn)大模型 DeepSeek-R1橫空出世，迅速成為AI領(lǐng)域的焦點。芯動力在24小時內(nèi)完成了與DeepSeek-R1大模型的適配。
DeepSeek-R1是幻方量化旗下大模型公司DeepSeek研發(fā)的系列推理模型，自誕生起就備受矚目。它采用強化學習訓練，推理時包含大量反思和驗證，思維鏈長度可達數(shù)萬字。在數(shù)學、代碼以及復雜邏輯推理任務(wù)上，DeepSeek-R1有著出色的表現(xiàn)，能取得媲美OpenAI o1的推理效果，還能為用戶展現(xiàn)完整的思考過程 。在1月24日的Arena上，DeepSeek-R1 基準測試已經(jīng)升至全類別大模型第三，其中在風格控制類模型（StyleCtrl）分類中與OpenAI o1并列第一。
隨著技術(shù)的發(fā)展，大模型訓練成本呈下降趨勢，商業(yè)化門檻也隨之降低。大模型作為技術(shù)底座，為各行業(yè)應(yīng)用開拓了無限可能，這也讓邊緣大模型逐漸成為主流方向。而芯動力所設(shè)計的芯片恰好契合這一開發(fā)應(yīng)用需求。
芯動力此次能夠在如此短的時間內(nèi)完成與DeepSeek-R1模型適配，AzureBlade K340L M.2加速卡是關(guān)鍵。這是一款高性能AI加速卡，實現(xiàn)了高性能、低功耗、小體積的完美結(jié)合。這款加速卡內(nèi)嵌AE7100芯片，尺寸僅為22mm×80mm，大約半張名片大小，卻實現(xiàn)了高達32TOPs的算力，并且功耗能達到8w以下。其采用標準M.2接口，便于集成到各種設(shè)備中，成為業(yè)界最小、最薄的GPU之一。該加速卡兼容CUDA和ONNX，滿足各類AI應(yīng)用需求，其高算力和內(nèi)存帶寬確保數(shù)據(jù)高效穩(wěn)定處理與傳輸。目前，這款加速卡已經(jīng)可以支撐大模型在AI PC等設(shè)備上運行，并適配了DeepSeek-R1、Llama 3-8B、Stable Diffusion、通義千問等開源模型。除此之外，該加速卡在工業(yè)自動化、泛安防、內(nèi)容過濾、醫(yī)療影像及信號處理等領(lǐng)域也得到了廣泛的應(yīng)用。
AzureBlade K340L加速卡性能卓越、適用性廣，有望在大模型端側(cè)設(shè)備部署中發(fā)揮關(guān)鍵作用，助力 AI 技術(shù)在更多場景落地，推動 AI 技術(shù)發(fā)展與應(yīng)用，開啟 AI 應(yīng)用新篇章。未來，芯動力團隊還將在 AI 及其他行業(yè)持續(xù)創(chuàng)新突破，為生活和社會帶來更多變革。
