“百模大戰(zhàn)”一觸即發(fā)!華為發(fā)布大模型時(shí)代AI存儲(chǔ)新品
通信世界網(wǎng)消息(CWW)數(shù)據(jù)作為數(shù)字經(jīng)濟(jì)時(shí)代最核心、最具價(jià)值的生產(chǎn)要素正在加速滲透,成為全球經(jīng)濟(jì)增長(zhǎng)的新動(dòng)力和新引擎。尤其是AI大模型爆火以來,數(shù)據(jù)呈指數(shù)級(jí)速度增長(zhǎng),數(shù)據(jù)流動(dòng)加速,在“百模大戰(zhàn)”的角逐中,作為基礎(chǔ)設(shè)施的存力,其重要性也日益凸顯。 AI大模型面臨四大挑戰(zhàn) 數(shù)據(jù)存儲(chǔ)是算力基礎(chǔ)設(shè)施的核心組成,是信息的起始和重點(diǎn),優(yōu)質(zhì)的數(shù)據(jù)存儲(chǔ)不僅會(huì)賦能數(shù)據(jù)存力發(fā)展,而且還會(huì)驅(qū)動(dòng)AI大模型的建設(shè)和發(fā)展
2023-07-17 10:10:30
來源:通信世界全媒體 蓋貝貝??

通信世界網(wǎng)消息(CWW)數(shù)據(jù)作為數(shù)字經(jīng)濟(jì)時(shí)代最核心、最具價(jià)值的生產(chǎn)要素正在加速滲透,成為全球經(jīng)濟(jì)增長(zhǎng)的新動(dòng)力和新引擎。尤其是AI大模型爆火以來,數(shù)據(jù)呈指數(shù)級(jí)速度增長(zhǎng),數(shù)據(jù)流動(dòng)加速,在“百模大戰(zhàn)”的角逐中,作為基礎(chǔ)設(shè)施的存力,其重要性也日益凸顯。

AI大模型面臨四大挑戰(zhàn)

數(shù)據(jù)存儲(chǔ)是算力基礎(chǔ)設(shè)施的核心組成,是信息的起始和重點(diǎn),優(yōu)質(zhì)的數(shù)據(jù)存儲(chǔ)不僅會(huì)賦能數(shù)據(jù)存力發(fā)展,而且還會(huì)驅(qū)動(dòng)AI大模型的建設(shè)和發(fā)展。

今年以來,自ChatGPT發(fā)布后,多家企業(yè)先后發(fā)布了自己的大模型產(chǎn)品,據(jù)不完全統(tǒng)計(jì),全球已發(fā)布數(shù)百個(gè)大模型,僅在中國(guó)就發(fā)布了80多個(gè)。AI大模型儼然成為互聯(lián)網(wǎng)的“新風(fēng)口”,在這場(chǎng)AI帶來的新變革中,企業(yè)紛紛緊跟時(shí)代浪潮,建立自己的大模型。

而企業(yè)在開發(fā)及實(shí)施大模型應(yīng)用過程中,通常會(huì)面臨著諸多挑戰(zhàn)。首先,數(shù)據(jù)準(zhǔn)備時(shí)間長(zhǎng),數(shù)據(jù)來源分散、歸集慢,預(yù)處理百TB數(shù)據(jù)需10天左右;其次,多模態(tài)大模型以海量文本、圖片為訓(xùn)練集,當(dāng)前海量小文件的加載速度不足100MB/s,訓(xùn)練集加載效率低;再次,大模型參數(shù)頻繁調(diào)優(yōu),訓(xùn)練平臺(tái)不穩(wěn)定,平均約2天出現(xiàn)一次訓(xùn)練中斷,需要Checkpoint機(jī)制恢復(fù)訓(xùn)練,故障恢復(fù)耗時(shí)超過一天;最后,大模型實(shí)施門檻高,系統(tǒng)搭建繁雜,資源調(diào)度難,GPU資源利用率通常不到40%。

更為嚴(yán)重的是,甚至有些企業(yè)目前對(duì)數(shù)據(jù)存儲(chǔ)重視程度還尚顯不足。隨著AI大模型的升溫,各地紛紛投入建設(shè)AI算力中心,加大了對(duì)算力的重視程度。但是算力中心的起步離不開數(shù)據(jù)存儲(chǔ)能力作為基礎(chǔ),如果沒有適當(dāng)?shù)拇媪ε浜?,那么算力的作用就得到不到充分發(fā)揮。

兩款A(yù)I存儲(chǔ)新品發(fā)布,助推AI賦能千行百業(yè)

日前,華為順應(yīng)大模型時(shí)代AI發(fā)展趨勢(shì),針對(duì)不同行業(yè)、不同場(chǎng)景大模型應(yīng)用,推出OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ)與FusionCube A3000訓(xùn)/推超融合一體機(jī)。

其中,OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ),面向基礎(chǔ)/行業(yè)大模型數(shù)據(jù)湖場(chǎng)景,實(shí)現(xiàn)從數(shù)據(jù)歸集、預(yù)處理到模型訓(xùn)練、推理應(yīng)用的AI全流程海量數(shù)據(jù)管理。OceanStor A310單框5U支持業(yè)界最高的400GB/s帶寬以及1200萬IOPS的最高性能,可線性擴(kuò)展至4096節(jié)點(diǎn),實(shí)現(xiàn)多協(xié)議無損互通。全局文件系統(tǒng)GFS實(shí)現(xiàn)跨地域智能數(shù)據(jù)編織,簡(jiǎn)化數(shù)據(jù)歸集流程;通過近存計(jì)算實(shí)現(xiàn)近數(shù)據(jù)預(yù)處理,減少數(shù)據(jù)搬移,預(yù)處理效率提升30%。

FusionCube A3000訓(xùn)/推超融合一體機(jī),則面向行業(yè)大模型訓(xùn)練/推理場(chǎng)景,針對(duì)百億級(jí)模型應(yīng)用,集成OceanStor A300高性能存儲(chǔ)節(jié)點(diǎn)、訓(xùn)/推節(jié)點(diǎn)、交換設(shè)備、AI平臺(tái)軟件與管理運(yùn)維軟件,為大模型伙伴提供拎包入住式的部署體驗(yàn),實(shí)現(xiàn)一站式交付。開箱即用,2小時(shí)內(nèi)即可完成部署。訓(xùn)/推節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)均可獨(dú)立水平擴(kuò)展,以匹配不同規(guī)模的模型需求。同時(shí)FusionCube A3000通過高性能容器實(shí)現(xiàn)多個(gè)模型訓(xùn)練推理任務(wù)共享GPU,將資源利用率從40%提升到70%以上。FusionCube A3000支持兩種靈活的商業(yè)模式,包括華為昇騰一站式方案,以及開放計(jì)算、網(wǎng)絡(luò)、AI平臺(tái)軟件的第三方伙伴一站式方案。

此外,如何保證數(shù)據(jù)的安全流轉(zhuǎn)也是大模型時(shí)代企業(yè)廣泛關(guān)注的問題。數(shù)據(jù)存儲(chǔ)是數(shù)據(jù)安全的第一道防線,在AI大模型的數(shù)據(jù)歸集過程中,企業(yè)需要安全地將不同地點(diǎn)、不同節(jié)點(diǎn)的數(shù)據(jù)歸集到一個(gè)地方,這在安全性上有著非常大的挑戰(zhàn)。面對(duì)企業(yè)的大模型數(shù)據(jù)安全需求,華為透露正在研發(fā)一種數(shù)據(jù)方艙技術(shù),通過將數(shù)據(jù)及其相關(guān)憑證、隱私、權(quán)限等信息共同流轉(zhuǎn),從而對(duì)數(shù)據(jù)產(chǎn)生極致保護(hù)。

“大模型時(shí)代,數(shù)據(jù)決定AI智能的高度?!比A為數(shù)據(jù)存儲(chǔ)產(chǎn)品線總裁周躍峰在新品發(fā)布會(huì)現(xiàn)場(chǎng)表示,作為數(shù)據(jù)的載體,數(shù)據(jù)存儲(chǔ)成為AI大模型的關(guān)鍵基礎(chǔ)設(shè)施。華為數(shù)據(jù)存儲(chǔ)未來將持續(xù)創(chuàng)新,面向AI大模型時(shí)代提供多樣化的方案與產(chǎn)品,攜手伙伴共同推進(jìn)AI賦能千行百業(yè)。

原創(chuàng)文章
最新文章
1
年末家電消費(fèi)觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來剛需式普及?
2
信通院何寶宏:大模型“卷”向下半場(chǎng),需要新打法
3
Mini LED技術(shù)再升級(jí),從背光引領(lǐng)顯示行業(yè)實(shí)現(xiàn)技術(shù)迭代
4
1~11月彩電零售量同比下降2%,2025年有望達(dá)到3150萬臺(tái)
5
這家清潔電器品牌突然停運(yùn) 背后投資者都是大腕+明星
6
兩新政策加力,2025年國(guó)債補(bǔ)貼預(yù)計(jì)超過3000億
7
國(guó)產(chǎn)DDR5內(nèi)存首次拆解:基本鎖定來自長(zhǎng)鑫
8
曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元
9
索尼中國(guó)副總裁金燕敏榮登2024年《財(cái)富》 中國(guó)最具影響力商界女性未來榜
10
“碳索”美好“視界”,京東方用“科技+綠色”凝聚可持續(xù)生命力
11
智慧健康再進(jìn)化,TCL小藍(lán)翼C7新風(fēng)空調(diào)震撼發(fā)布,開創(chuàng)AI空調(diào)發(fā)展新時(shí)代!
12
乘冰雪經(jīng)濟(jì)“冬”風(fēng),中國(guó)品牌跨越式“走出去”
13
2024《世界品牌500強(qiáng)》,長(zhǎng)虹排名再升2位創(chuàng)歷史新高
14
這些家電巨頭,都有一顆“造芯”的心
15
11月中國(guó)家電出口量已公布,空調(diào)同比增長(zhǎng)41.3%
16
大尺寸OLED市場(chǎng)迎來發(fā)展機(jī)遇,但是依然有很多問題待解決
17
美的鮮為人知的一面 絢麗的B端千億矩陣
18
一加Ace 5今天官宣:外觀大曝光 全新鈦色搶眼
19
中國(guó)電競(jìng)顯示器線上銷量TOP10出爐:聯(lián)想升至第六 小米第七
20
英偉達(dá)CEO黃仁勛:GB200正滿載生產(chǎn) 進(jìn)展順利
關(guān)于我們

微信掃一掃,加關(guān)注

商務(wù)合作
  • QQ:61149512