A phi-1 a Microsoft új kódolási nyelvi modellje.
- A Microsoft rengeteg mesterségesintelligencia-kutatást finanszíroz.
- Miután bejelentettük, hogy az Orca nyílt forráskódú lesz, a phi-1 is itt van.
- A phi-1 önmagában is képes megszilárdítani a tudást.
A Microsoft valóban nagy lépést tesz az AI fejlesztésében. A múlt hónapban a mesterséges intelligencia a Microsoft Build konferencia élén állt, és a redmondi technológiával foglalkozó cég még azt is bejelentette, hogy A Copilot megjelenik a Windows 11-re. Natív beépített alkalmazásként mindenhez, amire szüksége van,
A mesterséges intelligencia a Microsoft Teamshez is érkezik, a Recap Ai eszközben. A Microsoft sok más eszköze pedig mesterséges intelligenciát fog használni, beleértve a Microsoft Fabric-et is.
De úgy tűnik, a Microsoft az AI-kutatást is finanszírozza. Nemrég jelentette be a technológiai óriás Az Orca 13B nyílt forráskódú lesz. És A LongMem egy másik jó pont az AI-kutatásban: ez a válasz a korlátlan kontextushosszra.
És most itt az ideje egy újabb nagy áttörésnek az AI-kutatásban, természetesen a Microsoft részéről. Az új, 1.3B-paraméteres LLM-et kódoló, phi-1-nek nevezett modell állítólag felülmúlja a GPT 3.5-öt, mindössze 4 napos képzésben.
Mi az a phi-1, és miben teljesíti már a GPT-t?
Phi-1 egy új 1.3B-paraméteres nyelvi modell a kódhoz, lényegesen kisebb mérettel, mint a versenytárs modellek. A nyelvi modellt 4 napig betanították, több mint 7 milliárd token (valamivel több mint 50 milliárd token volt látható), majd finomhangolás következett 200 milliónál kevesebb tokenen.
Annak ellenére, hogy sokkal kisebb, mint a versenytárs modellek, a phi-1 elérte az 50,6%-ot [e-mail védett] pontosság HumanEval és 55,5% [e-mail védett] pontosság az MBPP-n (Mostly Basic Python Programs), amelyek az egyik legjobb önbeszámoló számok, amelyek csak egy LLM-generációt használnak.
Sőt, annak ellenére, hogy a meglévő modellekhez képest sokkal kevesebb tokenre képezték ki, a phi-1 még mindig rengeteg lehetőséget rejt magában.
A HumanEval fejlesztései a phi-1 legnagyobb vívmányai, mint nyelvi modell. A hangolás után a phi-1-nek sikerült olyan feladatokat végrehajtania, amelyek nem szerepeltek a finomhangolási adatkészletben. Ez azt jelenti, hogy a modell adaptálta és javította a finomhangolási folyamatot.
A legfigyelemreméltóbb pedig az, hogy a phi-1 átszervezte, megszilárdította az előképzés során megszerzett tudást, pedig ott eleve nem volt kifejezetten jelen.
Röviden szólva a phi-1 nem csak a képzés során tanul, hanem önmagában is bővíti az ismereteket. Minden szinten sikerült felülmúlnia a GPT 3.5-öt, és csak idő kérdése, hogy a kis modell mikor veszi át a nagyokat, például a GPT 4-et.
Mi a véleménye erről az új AI modellről? Mit gondol, merre tart az AI-kutatás? Feltétlenül ossza meg velünk véleményét az alábbi megjegyzések részben.
