Haluaisin nähdä tämänkin tapahtuvan. Mutta käytännössä en ole varma, miten jotain tällaista toteutetaan. Tukeeko liittovaltion hallitus vain avoimien laboratorioiden kustannuksia tämän laitteiston hankkimiseksi? Tämä olisi jatkuva tuki (tarvitsen nyt usein uutta laitteistoa), ja miten valitaan, mitkä laboratoriot saavat tukea? 10K H200:n lautasliinamatematiikka on luultavasti 300 miljoonan dollarin pohjoispuolella, jos käytämme yksinkertaista oletusta ~30 000 dollaria H200:sta. Ja tämä on vain GPU-laitteiston hankintaa. Tarvitset jonnekin, jossa voit käyttää näitä yhdessä opexin kanssa ylläpitääksesi niitä. Jos pakotat nykyiset laskentaomistajat jakamaan osan tarjonnastaan näille laboratorioille, he tarvitsevat myös jonkinlaista tukea. Suurin osa näistä yrityksistä sanoo, että niiden tarjonta on rajoitettu myös tällä hetkellä. Joka tapauksessa näyttää siltä, että olemme menossa kohti uuden laskentaparadigman luomista. Paradigma on tähän mennessä pyörinyt samassa paikassa tapahtuvan laskennan skaalaamisen ympärillä. Epäilemättä Manhattanin kokoisia datakeskuksia rakennetaan edelleen Yhdysvalloissa ja muualla. Mutta tulee myös pienempiä, erikokoisia laskentasaarekkeita, jotka on yhdistetty kuituun jne. Kun nämä ovat uusia/vakiorajoituksia ja perustavanlaatuisia rajoituksia, se työntää laajempaa tekoälyn tutkimusyhteisöä uusiin, tutkimattomiin suuntiin. Tämän loppupään vaikutus voi tarkoittaa suurta ja kasvavaa eroa suurimpien, suljettujen tekoälylaboratorioiden (jotka työskentelevät tehokkaasti massiivisten yksittäisten datakeskusten kanssa) ja hajautettuja laskentaklustereita käyttävien laboratorioiden (eli pienten mutta lukuisten laskentasaarekkeiden) välillä tuotetun tutkimuksen, malliarkkitehtuurien, talouden jne. välillä. Epäselvää, miten se käy kummallekin osapuolelle (ja viime kädessä kummankin valmistamien mallien kuluttajille), mutta näyttää siltä, että asiat ovat menossa suuntaan. Voisi jopa väittää, että olemme jo nähneet välähdyksiä tästä. Kiinalaisilla laboratorioilla on perustavanlaatuisesti erilaiset laskentarajoitukset kuin esimerkiksi OpenAI:lla. Näiden kiinalaisten laboratorioiden oli innovoitava koulutus-/päättelytekniikoita tämän vuoksi. Ei täydellinen analogia, mutta ehkä se voi auttaa selventämään, miltä "pienet askeleet" kohti uutta paradigmaa näyttävät, ja ajan myötä nämä pienet askeleet yhdistyvät ja tuottavat jotain, joka näyttää/toimii aivan eri tavalla kuin se, mitä toinen polku tuottaa.
Nathan Lambert
Nathan Lambert4.8. klo 22.08
To solve this, the key resource threshold is to have multiple open labs with 10000+ GPUs each. Multiple labs makes it so we are not beholden to big technology co's good graces to want to release models. These institutions increases innovation + derisks this crucial technology.
795