大模型領(lǐng)域普遍存在規(guī)模化定律，即大模型的性能深受模型參數(shù)量、數(shù)據(jù)集大小以及訓(xùn)練算力規(guī)模三要素的影響。生成式AI的運行主要基于深度學(xué)習(xí)原理，其發(fā)展離不開海量數(shù)據(jù)信息的投入。面對智算集群目前存在的可用度、推理體驗等問題，華為推出業(yè)界首款A(yù)I存儲——OceanStor A800，致力于成為支撐智算集群發(fā)展的關(guān)鍵基座。
智算集群為千行萬業(yè)發(fā)展新質(zhì)生產(chǎn)力夯基筑石
近年來，智能計算已經(jīng)成為推動社會發(fā)展進步的重要力量。從計算機視覺到自然語言處理、多模態(tài)等基礎(chǔ)大模型研究，再到面向自動駕駛、生命科學(xué)等重點行業(yè)的專用大模型研發(fā)，各行各業(yè)都展示出對智能算力的巨大需求。
中國移動搶抓數(shù)字經(jīng)濟發(fā)展新機遇，立足自身資源稟賦和能力優(yōu)勢，以算為中心、以網(wǎng)為根基、以存為引擎，打造多種信息技術(shù)深度融合、可提供一體化服務(wù)的算力網(wǎng)絡(luò)，對內(nèi)滿足“九天”人工智能大模型訓(xùn)練，對外面向千行萬業(yè)提供一站式智能計算服務(wù)，加快發(fā)展新質(zhì)生產(chǎn)力。
借助智算集群提供的服務(wù)，運營商行業(yè)加速數(shù)智化轉(zhuǎn)型，可匯聚數(shù)百萬個基站、數(shù)億用戶以及數(shù)百PB級歷史數(shù)據(jù)，實現(xiàn)L4級網(wǎng)絡(luò)自動駕駛；金融行業(yè)可對信貸申請進行快速處理，時間從原來的數(shù)天縮短到一分鐘，甚至最快一秒鐘即可完成審批。
華為AI數(shù)據(jù)湖方案助力中國移動智算中心構(gòu)建堅實底座
中國移動智算中心（哈爾濱）節(jié)點充分利用中國移動（哈爾濱）數(shù)據(jù)中心軟硬件優(yōu)勢、自然冷源地域優(yōu)勢，提前4個月攻堅完成3千多平方米機房的供電、制冷、建筑結(jié)構(gòu)等重大調(diào)整改造，涉及5000多臺設(shè)備、7萬多根線纜、20多萬個端口、千萬級精密器件的大規(guī)模集群復(fù)雜施工。在30多個單位、千余人的協(xié)同支持下，歷經(jīng)7個月時間，超萬卡規(guī)模智算集群建成，存力規(guī)模達(dá)150PB。
在智能融合分級存儲集群的設(shè)計初期，中國移動面臨幾大挑戰(zhàn)：在吞吐性能方面，萬億級參數(shù)大模型需要至少10TB/秒的吞吐量，而傳統(tǒng)存儲系統(tǒng)難以滿足這一要求；在多協(xié)議處理方面，數(shù)據(jù)從歸集到處理再到訓(xùn)練，涉及對象存儲和文件存儲的頻繁轉(zhuǎn)換，這對傳統(tǒng)存儲架構(gòu)是一個巨大挑戰(zhàn)；在數(shù)據(jù)管理效率方面，隨著數(shù)據(jù)的動態(tài)變化，熱數(shù)據(jù)與冷數(shù)據(jù)需要按需流動，傳統(tǒng)系統(tǒng)主要依賴人工干預(yù)，效率較低。
為應(yīng)對上述挑戰(zhàn)，華為為中國移動提供AI數(shù)據(jù)湖解決方案，構(gòu)建智算中心數(shù)據(jù)底座，實現(xiàn)聚合帶寬8TB/秒，IOPS（每秒讀寫次數(shù)）達(dá)2.3億。受益于AI數(shù)據(jù)湖高可靠、高性能等特點，大幅降低集群故障概率，縮短了斷點續(xù)訓(xùn)時間，使得90天單訓(xùn)練周期內(nèi)GPU的等待時間從7天減少到2天。
在訓(xùn)練方面使智算集群實現(xiàn)從“堆算力”到“提效率”的轉(zhuǎn)化
華為推出AI數(shù)據(jù)湖解決方案，基于OceanStor AI存儲和OceanStor Pacific分布式存儲的諸多技術(shù)創(chuàng)新，可支撐千億/萬億級參數(shù)大模型高效訓(xùn)練與推理。
大模型訓(xùn)練系統(tǒng)對算力需求很大，計算密度空前，對數(shù)據(jù)吞吐量的要求也與時俱增，要求達(dá)到傳統(tǒng)應(yīng)用的數(shù)十倍甚至百倍。對于存儲來說，首先就是要快速將數(shù)據(jù)源源不斷地投入大模型。
為最大程度發(fā)揮每塊算力卡的“潛力”，華為OceanStor A800首創(chuàng)數(shù)控分離架構(gòu)，讓數(shù)據(jù)從接口卡直接傳輸?shù)酱鎯橘|(zhì)，避免CPU和內(nèi)存等潛在的瓶頸，大幅提升存儲帶寬和IOPS能力。在2024年MLPerf TM存儲基準(zhǔn)性能測試比拼中，OceanStor A800榮登榜首，其2節(jié)點性能高達(dá)679 GB/秒。
面對訓(xùn)練過程中的海量數(shù)據(jù)匯聚與高效存儲問題，華為AI數(shù)據(jù)湖解決方案構(gòu)建了全局文件系統(tǒng)、無損多協(xié)議互通、EB級擴展以及熱溫冷數(shù)據(jù)智能分級存儲等能力，用一套存儲實現(xiàn)AI各階段數(shù)據(jù)的免拷貝和格式免轉(zhuǎn)換，加速數(shù)據(jù)價值釋放，并實現(xiàn)整體擁有成本（TCO）最優(yōu)。
在推理方面使大模型實現(xiàn)從“快思考”到“慢思考”的轉(zhuǎn)化
大模型產(chǎn)品具有即時問答的“快思考”能力，讓AI變得更“聰明”，就要使其具備邏輯梳理、應(yīng)對變化的“慢思考”能力。
使AI具備“慢思考”的能力，關(guān)鍵在于記錄下AI推理過程中的每一次“思考”結(jié)果，使其再遇到相同的復(fù)雜問題時不需要重新計算。專門記錄大模型思考結(jié)果的存儲被稱為“長記憶內(nèi)存型存儲”，作為內(nèi)存的擴展，以分級的方式實現(xiàn)月級/年級的記憶能力，甚至是“終生”記憶能力。
華為OceanStor A800是業(yè)界首款提供“長記憶”能力的存儲，通過“多級鍵—值緩存（KV—Cache）機制”將所有的思考結(jié)果持久化保存并高效使用，讓大模型推理具備“慢思考”能力，以減少大模型在預(yù)填充階段的重復(fù)計算。如此，客戶進行AI推理的時延可降低近八成，單個計算卡的吞吐量提升約2/3，可在實現(xiàn)推理體驗提升的同時降低成本。
如今，智算中心正從千卡集群向萬卡甚至超萬卡集群演進。華為將與中國移動等企業(yè)持續(xù)深入合作，一起應(yīng)對超萬卡集群建設(shè)和運營帶來的前所未有的挑戰(zhàn)，抓住人工智能發(fā)展的歷史機遇，打造自主創(chuàng)新的智算中心可靠數(shù)據(jù)底座。
數(shù)據(jù)來源：中國移動通信集團黑龍江有限公司 華為技術(shù)有限公司
