- A Microsoft és az NVIDIA együttműködése eredményeként megszületett napjaink legnagyobb, legerősebb mesterségesintelligencia-alapú nyelve.
- A két vállalat az áttörés előtt számos újításon dolgozott.
- A nyelv mesterséges intelligencia alapú, és számos kísérletből származik.
A Microsoft és az NVIDIA ma bejelentette, hogy sikeresen betanították az eddigi legnagyobb teljesítményű nyelvet. A Megatron-Turing Natural Language Generation (MT-NLP) a vállalatok Turing NLG 17B és Megatron-LM modelljeinek utódja.
Az MT-NLP 530 milliárd paraméterrel rendelkezik természetes nyelvi feladatok széles skálájának képességével. A két cég szerint a szövegértési, érvelési és természetes nyelvi képességekkel is rendelkezik.
Első áttörés
A két cég korábban számos újításon dolgozott, de ezt tartják a legerősebbnek.
Az elért minőség jelentős lépés a mesterséges intelligencia természetes nyelven történő feloldása felé. A két innováció, a DeepSpeed és a Megatron-LM lesz a mesterséges intelligencia modellek fejlesztésének fő haszonélvezői, és megnyitják az utat a nagy AI modellek számára, hogy megfizethetőek legyenek és gyorsabban betaníthatóak legyenek.
A Microsoft egy 530 milliárd paraméteres GPT3-stílusú nyelvi modellt tanít. Ez a létező legnagyobb LM. (Ott van még a titokzatos multimodális 1,5 billió+ 'Wu Dao' MOE-modell, de keveset tudnak róla). A Microsoft a „The Pile” adatkészletre oktat. https://t.co/md03QzqlxA
- Jack Clark (@jackclarkSF) 2021. október 11
Kiképzés
A képzésre a másik oldalon került sor 560 Nvidia DGX A100 szerver, mindegyikhez 8 darab Nvidia A100 80GB GPU-val.
Bár az MT-NLP képes alapvető matematikai műveletekre következtetni, nem teljesen pontos. Ez azonban felülmúlja a memorizálást, és képes végrehajtani a feladatokat.
Az ilyen modellek kulcsfontosságúak az általuk betanított adatokban jelenlévő torzítások felerősítésében.
Noha a Microsoft elismeri, hogy voltak kihívások, elkötelezettek amellett, hogy megbirkózzanak velük azáltal, hogy a folyamatos kutatás során folyamatos mérföldköveket tesznek, miközben minimalizálják a felhasználókat érő lehetséges károkat.
Egyelőre a felhasználók élvezhetik a mérföldköveket, miközben várjuk, hogy mi lesz a következő üzletben.
Mi a véleménye a Microsoft és az NVIDIA együttműködéséről? Vannak elvárásaid? Tudassa velünk az alábbi megjegyzés szakaszban.
