Най-големият мощен езиков модел, обучен от Microsoft и NVIDIA

  • Сътрудничеството между Microsoft и NVIDIA доведе до раждането на най-големия най-мощен език, задвижван от AI днес.
  • Двете компании са работили върху множество иновации преди пробив.
  • Езикът се захранва от AI и произлиза от поредица от изпитания.

Microsoft и NVIDIA обявиха днес, че са обучили успешно най-големия най-мощен език досега. Megatron-Turing Natural Language Generation (MT-NLP) е предназначен да бъде наследник на моделите Turing NLG 17B и Megatron-LM на компаниите.

MT-NLP има 530 милиарда параметри с възможност за широк набор от задачи на естествен език. Според двете компании той също има възможности за разбиране, разсъждение и естествен език.

Първи пробив

Двете компании в миналото са работили по няколко иновации, но тази се счита за най-мощната.

Полученото качество е значителна стъпка към пътуването за отключване на AI на естествен език. Двете иновации DeepSpeed ​​и Megatron-LM ще бъдат основните бенефициенти от разработването на AI модела и ще отворят пътя за големите AI модели да бъдат достъпни и по-бързи за обучение.

Microsoft обучава езиков модел с 530 милиарда параметър в стил GPT3. Това е най-големият съществуващ LM. (Има и мистериозният мултимодален модел 1,5 трилиона+ 'Wu Dao' MOE, но малко известен за него). Microsoft тренира върху набор от данни „The Pile“. https://t.co/md03QzqlxA

— Джак Кларк (@jackclarkSF) 11 октомври 2021 г

Обучение

Обучението се проведе през 560 Nvidia DGX A100 сървъра, с 8 графични процесора Nvidia A100 80GB за всеки.

Въпреки че MT-NLP има способността да извежда основни математически операции, това не е напълно точно. Той обаче превъзхожда запаметяването и може да изпълнява задачи.

Такива модели са от решаващо значение за засилване на отклоненията, присъстващи в данните, в които са обучени.

Въпреки че Microsoft признава, че е имало предизвикателства, те се ангажират да се справят с тях, като правят непрекъснати етапи чрез непрекъснати изследвания, като същевременно минимизират потенциалната вреда за потребителите.

Засега потребителите могат да се насладят на постигнатите етапи, докато чакаме да видим какво предстои.

Какво мислите за сътрудничеството между Microsoft и NVIDIA? Имате ли някакви очаквания? Уведомете ни в секцията за коментари по-долу.

Los 13 Mejores Software de Seguridad Para Pequeñas Empresas

Los 13 Mejores Software de Seguridad Para Pequeñas EmpresasMiscellanea

Estar siempre un paso por delante de los ciberatacantes es fundamental para cualquier negocio. Las filtraciones de datos actuales generan problemas graves, por lo que es importante cubrir todos los...

Прочетете още
El Mejor Software Para Reparar Archivos Corruptos [Windows 10]

El Mejor Software Para Reparar Archivos Corruptos [Windows 10]Miscellanea

Los archivos dañados pueden provocar errores en el system, por lo que debes utilizar el най-добър софтуер за възстановяване на архиви.Windows 10 не съдържа оригинални елементи за възстановяване на ...

Прочетете още
Елате Correggere il Codice Errore 0xc00000e9 в Windows 11

Елате Correggere il Codice Errore 0xc00000e9 в Windows 11Miscellanea

Само този код на грешката на Windows 11 0xc00000e9 се визуализира, ако проверите неизправността на хардуера. Друга причина за проверка на тази грешка е свързана с цялата конфигурация на Windows Boo...

Прочетете още