[Kina, Shenzhen, 14. srpnja 2023.] Danas je Huawei predstavio svoje novo rješenje za pohranu AI za eru modela velikih razmjera, pružajući optimalna rješenja za pohranu za osnovnu obuku modela, obuku modela specifičnu za industriju i zaključivanje u segmentiranim scenarijima, dakle oslobađanje novih AI mogućnosti.
U razvoju i implementaciji modela velikih aplikacija poduzeća se suočavaju s četiri glavna izazova:
Prvo, vrijeme potrebno za pripremu podataka je dugo, izvori podataka su raštrkani, a agregacija je spora, potrebno je oko 10 dana za prethodnu obradu stotina terabajta podataka. Drugo, za multimodalne velike modele s masivnim tekstualnim i slikovnim skupovima podataka, trenutna brzina učitavanja za velike male datoteke manja je od 100 MB/s, što rezultira niskom učinkovitošću učitavanja skupa za obuku. Treće, česte prilagodbe parametara za velike modele, zajedno s nestabilnim platformama za vježbanje, uzrokuju prekide treninga otprilike svaka 2 dana, što zahtijeva mehanizam Checkpoint za nastavak treninga, a oporavak traje više od jednog dana. Na kraju, visoki pragovi implementacije za velike modele, složeno postavljanje sustava, izazovi raspoređivanja resursa i korištenje GPU resursa često ispod 40%.
Huawei se usklađuje s trendom razvoja umjetne inteligencije u eri velikih modela, nudeći rješenja prilagođena različitim industrijama i scenarijima. Predstavlja OceanStor A310 Deep Learning Data Lake Storage i FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage cilja kako na osnovne tako i na industrijske scenarije velikih modela podatkovnih jezera, postižući sveobuhvatno AI upravljanje podacima od agregacije podataka, pretprocesiranja do obuke modela i aplikacija za zaključivanje. OceanStor A310, u jednom stalku od 5U, podržava vodeću propusnost od 400 GB/s i do 12 milijuna IOPS-a, s linearnom skalabilnošću do 4096 čvorova, što omogućuje besprijekornu komunikaciju između protokola. Globalni datotečni sustav (GFS) olakšava inteligentno tkanje podataka po regijama, usmjeravajući procese prikupljanja podataka. Računalstvo blizu pohrane ostvaruje pretprocesiranje gotovo podataka, smanjujući kretanje podataka i poboljšavajući učinkovitost predprocesiranja za 30%.
FusionCube A3000 Super-konvergirani uređaj za obuku/zaključivanje, dizajniran za scenarije obuke/zaključivanja velikih modela na razini industrije, služi aplikacijama koje uključuju modele s milijardama parametara. Integrira OceanStor A300 čvorove za pohranu visokih performansi, čvorove za obuku/zaključivanje, opremu za prebacivanje, softver za platformu umjetne inteligencije i softver za upravljanje i rad, pružajući partnerima velikih modela plug-and-play iskustvo implementacije za isporuku na jednom mjestu. Spremno za upotrebu, može se postaviti unutar 2 sata. Čvorovi za obuku/zaključivanje i pohranjivanje mogu se neovisno i horizontalno proširiti kako bi odgovarali različitim zahtjevima mjerila modela. U međuvremenu, FusionCube A3000 koristi spremnike visokih performansi kako bi omogućio višestruku obuku modela i zadatke zaključivanja za dijeljenje GPU-a, povećavajući iskorištenost resursa sa 40% na više od 70%. FusionCube A3000 podržava dva fleksibilna poslovna modela: Huawei Ascend One-Stop Solution i partnersko rješenje na jednom mjestu treće strane s otvorenim računalstvom, umrežavanjem i softverom AI platforme.
Huaweijev predsjednik linije proizvoda za pohranu podataka, Zhou Yuefeng, izjavio je: “U eri velikih modela, podaci određuju visinu AI inteligencije. Kao nositelj podataka, pohrana podataka postaje ključna temeljna infrastruktura za AI modele velikih razmjera. Huawei Data Storage nastavit će s inovacijama, pružajući raznovrsna rješenja i proizvode za eru velikih modela umjetne inteligencije, surađujući s partnerima kako bi potaknuli osnaživanje umjetne inteligencije u širokom rasponu industrija.”
Vrijeme objave: 1. kolovoza 2023
