今日，中國電信研究院聯(lián)合中國科學(xué)院計(jì)算技術(shù)研究所、華為昇騰、沐曦等機(jī)構(gòu)，在中國電信云網(wǎng)融合技術(shù)中試驗(yàn)證平臺(tái)上，成功完成了業(yè)界首個(gè)面向國產(chǎn)算力的跨架構(gòu)大模型推理技術(shù)驗(yàn)證。該技術(shù)攻關(guān)由中國電信研究院牽頭，啟動(dòng)了“Triton統(tǒng)一跨架構(gòu)推理框架”項(xiàng)目，通過自主研發(fā)的Triton跨架構(gòu)編譯器與統(tǒng)一大模型算子庫，實(shí)現(xiàn)了算子源碼在英偉達(dá)、昇騰、沐曦三類芯片上的無縫運(yùn)行。

在本次技術(shù)驗(yàn)證中，已完成10余款主流開源模型在三類芯片上的端到端推理測試。核心指標(biāo)表現(xiàn)優(yōu)異，平均遷移時(shí)間不超過3天，效率較傳統(tǒng)適配模式提升超過80%；精度誤差控制在0.5%以內(nèi)，確保了模型推理的可靠性；在同等延遲約束下，系統(tǒng)吞吐達(dá)到各芯片原生算子庫的90%以上，實(shí)現(xiàn)了性能與適配效率的雙重優(yōu)化?？蚣苓€內(nèi)置了benchmark與Profiling工具，能夠一鍵生成跨芯片性能對比報(bào)告，為業(yè)務(wù)方提供選芯決策支撐。