昇騰大EP推動(dòng)AI推理性能與成本效益雙突破

    本報(bào)記者 賈麗

    隨著大模型技術(shù)的快速發(fā)展，AI推理對(duì)算力的需求日益增長(zhǎng)，尤其是在大規(guī)模并發(fā)場(chǎng)景下，如何實(shí)現(xiàn)高吞吐、低延遲的推理性能成為行業(yè)關(guān)注的焦點(diǎn)。

    近日，中國(guó)自主開(kāi)源大模型DeepSeek公布了其推理系統(tǒng)采用了其大規(guī)?？绻?jié)點(diǎn)專(zhuān)家并行（以下簡(jiǎn)稱(chēng)“大EP”）并行能力，通過(guò)其支持的批量擴(kuò)展、計(jì)算通信重疊、全局負(fù)載均衡來(lái)實(shí)現(xiàn)對(duì)吞吐量和延遲的優(yōu)化。其開(kāi)源策略也有力推動(dòng)了從框架、工具鏈到應(yīng)用場(chǎng)景的全面國(guó)產(chǎn)化進(jìn)程。同時(shí)，DeepSeek還給出了其在線(xiàn)服務(wù)的統(tǒng)計(jì)數(shù)據(jù)：（理論）成本利潤(rùn)率高達(dá)545%。業(yè)界認(rèn)為，這會(huì)為AI產(chǎn)業(yè)帶來(lái)信心，進(jìn)一步激發(fā)新一輪算力建設(shè)投資。

    而昇騰在大EP方面亦有深度的技術(shù)創(chuàng)新和創(chuàng)新實(shí)踐。據(jù)了解，昇騰大EP并行技術(shù)通過(guò)將專(zhuān)家（Expert）分布到更多的計(jì)算卡上，顯著減少了單卡的顯存占用和權(quán)重加載時(shí)間，從而提升了單卡的并發(fā)處理能力，且通過(guò)批量擴(kuò)展、計(jì)算通信重疊、全局負(fù)載均衡等關(guān)鍵技術(shù)，實(shí)現(xiàn)了對(duì)AI推理吞吐量和延遲的極致優(yōu)化。

    據(jù)悉，昇騰大EP方案在單卡性能上提升了3倍，同時(shí)將推理時(shí)延降低了50%以上，為行業(yè)提供了更高性能、更低成本的推理解決方案。

    近日，DeepSeek的開(kāi)源實(shí)踐也成為業(yè)內(nèi)熱議焦點(diǎn)。DeepSeek通過(guò)工程創(chuàng)新，降低了AI模型訓(xùn)練和推理的算力門(mén)檻，通過(guò)開(kāi)源方式進(jìn)一步降低了行業(yè)部署的門(mén)檻，推動(dòng)了大模型技術(shù)的普及。

    據(jù)了解，開(kāi)源的昇騰大EP方案通過(guò)多專(zhuān)家負(fù)載均衡、PD分離部署、雙流并行計(jì)算、MLAPO融合算子等關(guān)鍵技術(shù)，實(shí)現(xiàn)了推理性能的顯著提升，不僅適用于私有云部署，還可以在公有云環(huán)境中靈活擴(kuò)展，可以滿(mǎn)足互聯(lián)網(wǎng)、金融、醫(yī)療等多領(lǐng)域企業(yè)對(duì)高性能、低成本的AI推理的需求。

    隨著大模型技術(shù)的普及，AI推理正在進(jìn)入千行百業(yè)。業(yè)內(nèi)專(zhuān)家認(rèn)為，DeepSeek的開(kāi)源模型和昇騰大EP方案的結(jié)合，將為行業(yè)客戶(hù)提供了強(qiáng)大的技術(shù)支持。

    以金融行業(yè)為例，銀行可以通過(guò)部署昇騰大EP方案，將推理性能提升了3倍，并顯著降低推理時(shí)延。在教育領(lǐng)域，高?？梢酝ㄟ^(guò)部署昇騰推理資源池，支持?jǐn)?shù)千名師生同時(shí)使用AI模型進(jìn)行教學(xué)和研究。

    業(yè)內(nèi)專(zhuān)家預(yù)測(cè)，未來(lái)幾年，AI推理的算力需求將呈現(xiàn)爆發(fā)式增長(zhǎng)。昇騰大EP方案通過(guò)性能提升和成本優(yōu)化，助力AI技術(shù)的規(guī)?；逃?。昇騰將深耕AI推理領(lǐng)域，推動(dòng)大EP并行技術(shù)的創(chuàng)新與應(yīng)用，助力千行百業(yè)實(shí)現(xiàn)智能化轉(zhuǎn)型。

（編輯 李波）