中國(guó)工程院院士鄭緯民：隨著ChatGPT的發(fā)展，算力將迎來(lái)高速擴(kuò)張時(shí)代-世界要聞

(相關(guān)資料圖)

21世紀(jì)經(jīng)濟(jì)報(bào)道記者白楊 北京報(bào)道

在4月21日召開(kāi)的“首屆超互聯(lián)新算力產(chǎn)業(yè)暨第三屆中國(guó)IDC行業(yè)DISCOVERY大會(huì)”上，中國(guó)工程院院士鄭緯民談及人工智能產(chǎn)業(yè)發(fā)展時(shí)表示，人工智能（AI）算力是當(dāng)前人工智能領(lǐng)域發(fā)展的關(guān)鍵，也是算力基礎(chǔ)設(shè)施的重要組成部分，是新基建和國(guó)家“東數(shù)西算”工程的關(guān)鍵任務(wù)抓手。

鄭緯民稱，AI計(jì)算是近30年才有的，在海量數(shù)據(jù)、實(shí)時(shí)響應(yīng)、極端條件等場(chǎng)景下，AI計(jì)算較通用計(jì)算優(yōu)勢(shì)愈發(fā)明顯，尤其是隨著ChatGPT的發(fā)展，算力需求大幅提升，算力也將迎來(lái)高速擴(kuò)張時(shí)代。預(yù)計(jì)到2025年，我國(guó)AI算力總量將超過(guò)1800EFlops，AI算力占總算力比重超過(guò)85%。

在談及AI計(jì)算與HPC（高性能計(jì)算）的區(qū)別時(shí)，鄭緯民指出，HPC通常應(yīng)用在天氣預(yù)報(bào)、核聚變模擬、飛行器設(shè)計(jì)等領(lǐng)域，而AI計(jì)算是做分類、回歸、自然語(yǔ)言處理等，二者應(yīng)用場(chǎng)合不同，運(yùn)算精度也不一樣。

“傳統(tǒng)的高性能計(jì)算機(jī)的測(cè)試結(jié)果與人工智能需要的性能不完全一致。高性能計(jì)算算力測(cè)試程序主要使用雙精度浮點(diǎn)數(shù)運(yùn)算，即64位浮點(diǎn)運(yùn)算，人工智能訓(xùn)練以單精度浮點(diǎn)數(shù)，即32位浮點(diǎn)數(shù)為主?！痹卩嵕暶窨磥?lái)，現(xiàn)在要做符合語(yǔ)言模型的訓(xùn)練，就要考慮半精度平衡性，即設(shè)計(jì)中主要考慮半精度運(yùn)營(yíng)性能，又要注意雙精度運(yùn)算能力不能過(guò)低，所以雙精度與半精度運(yùn)算性能之比為1:100較好。

除此之外，鄭緯民認(rèn)為AI計(jì)算還需要做到網(wǎng)絡(luò)平衡設(shè)計(jì)和IO子系統(tǒng)平衡設(shè)計(jì)?！艾F(xiàn)在很多廠家都已經(jīng)在考慮這三個(gè)平衡設(shè)計(jì)，國(guó)內(nèi)也有差不多30個(gè)城市在建或者建好了AI超算中心?！睋?jù)其預(yù)測(cè)，HPC+AI+大數(shù)據(jù)中心在未來(lái)不超過(guò)5年的時(shí)間內(nèi)將會(huì)融合到一臺(tái)計(jì)算機(jī)中，“既可以做HPC，又可以做AI，也能處理大數(shù)據(jù)”。

另外針對(duì)AI大模型，鄭緯民提出，ChatGPT出來(lái)以后，大家對(duì)大模型訓(xùn)練都比較關(guān)心。在其看來(lái)，參數(shù)越多、訓(xùn)練的數(shù)據(jù)越多、計(jì)算機(jī)越多、效果就越好，越接近于人腦，這里面是正相關(guān)關(guān)系，所以探索更大參數(shù)模型的效果具有重要科學(xué)意義。

關(guān)鍵詞：