本報(bào)記者 賈麗

    隨著大模型技術(shù)的快速發(fā)展，AI推理對(duì)算力的需求日益增長(zhǎng)，尤其是在大規(guī)模并發(fā)場(chǎng)景下，如何實(shí)現(xiàn)高吞吐、低延遲的推理性能成為行業(yè)關(guān)注的焦點(diǎn)。

    近日，中國(guó)自主開源大模型DeepSeek公布了其推理系統(tǒng)采用了其大規(guī)模跨節(jié)點(diǎn)專家并行（以下簡(jiǎn)稱“大EP”）并行能力，通過其支持的批量擴(kuò)展、計(jì)算通信重疊、全局負(fù)載均衡來實(shí)現(xiàn)對(duì)吞吐量和延遲的優(yōu)化。其開源策略也有力推動(dòng)了從框架、工具鏈到應(yīng)用場(chǎng)景的全面國(guó)產(chǎn)化進(jìn)程。同時(shí)，DeepSeek還給出了其在線服務(wù)的統(tǒng)計(jì)數(shù)據(jù)：（理論）成本利潤(rùn)率高達(dá)545%。業(yè)界認(rèn)為，這會(huì)為AI產(chǎn)業(yè)帶來信心，進(jìn)一步激發(fā)新一輪算力建設(shè)投資。

    而昇騰在大EP方面亦有深度的技術(shù)創(chuàng)新和創(chuàng)新實(shí)踐。據(jù)了解，昇騰大EP并行技術(shù)通過將專家（Expert）分布到更多的計(jì)算卡上，顯著減少了單卡的顯存占用和權(quán)重加載時(shí)間，從而提升了單卡的并發(fā)處理能力，且通過批量擴(kuò)展、計(jì)算通信重疊、全局負(fù)載均衡等關(guān)鍵技術(shù)，實(shí)現(xiàn)了對(duì)AI推理吞吐量和延遲的極致優(yōu)化。

    據(jù)悉，昇騰大EP方案在單卡性能上提升了3倍，同時(shí)將推理時(shí)延降低了50%以上，為行業(yè)提供了更高性能、更低成本的推理解決方案。

    近日，DeepSeek的開源實(shí)踐也成為業(yè)內(nèi)熱議焦點(diǎn)。DeepSeek通過工程創(chuàng)新，降低了AI模型訓(xùn)練和推理的算力門檻，通過開源方式進(jìn)一步降低了行業(yè)部署的門檻，推動(dòng)了大模型技術(shù)的普及。

    據(jù)了解，開源的昇騰大EP方案通過多專家負(fù)載均衡、PD分離部署、雙流并行計(jì)算、MLAPO融合算子等關(guān)鍵技術(shù)，實(shí)現(xiàn)了推理性能的顯著提升，不僅適用于私有云部署，還可以在公有云環(huán)境中靈活擴(kuò)展，可以滿足互聯(lián)網(wǎng)、金融、醫(yī)療等多領(lǐng)域企業(yè)對(duì)高性能、低成本的AI推理的需求。

    隨著大模型技術(shù)的普及，AI推理正在進(jìn)入千行百業(yè)。業(yè)內(nèi)專家認(rèn)為，DeepSeek的開源模型和昇騰大EP方案的結(jié)合，將為行業(yè)客戶提供了強(qiáng)大的技術(shù)支持。

    以金融行業(yè)為例，銀行可以通過部署昇騰大EP方案，將推理性能提升了3倍，并顯著降低推理時(shí)延。在教育領(lǐng)域，高校可以通過部署昇騰推理資源池，支持?jǐn)?shù)千名師生同時(shí)使用AI模型進(jìn)行教學(xué)和研究。

    業(yè)內(nèi)專家預(yù)測(cè)，未來幾年，AI推理的算力需求將呈現(xiàn)爆發(fā)式增長(zhǎng)。昇騰大EP方案通過性能提升和成本優(yōu)化，助力AI技術(shù)的規(guī)模化商用。昇騰將深耕AI推理領(lǐng)域，推動(dòng)大EP并行技術(shù)的創(chuàng)新與應(yīng)用，助力千行百業(yè)實(shí)現(xiàn)智能化轉(zhuǎn)型。

（編輯 李波）