LongMem adalah jawaban Microsoft untuk panjang konteks tak terbatas

Framework baru ini akan merevolusi model AI.

Microsoft telah menjadi yang terdepan dalam pendidikan AI, dan alat AI, secara umum. Kopilot akan segera hadir di Windows 11, sebagai bagian dari pembaruan Windows. AI memasuki Microsoft Teams, dengan rekap cerdas membantu orang bekerja lebih mudah.

Bing juga merupakan salah satu alat AI yang paling menarik, dan fitur-fiturnya memungkinkan Anda mengoptimalkan pekerjaan dan cara Anda menjelajahi Internet.

Namun awal pekan ini, Microsoft juga meluncurkannya Orca 13B akan segera menjadi open source. Orca 13B adalah model AI kecil yang memiliki kualitas dan kecepatan yang sama dengan model AI lainnya, seperti ChatGPT.

Sekarang, dalam pertempuran penelitian AI dan AI, Microsoft datang dengan LongMem, kerangka hipotetis dan model bahasa AI.

Menurut utas Reddit ini, LongMem memungkinkan panjang konteks tak terbatas dengan pengurangan GPU, dan penggunaan memori CPU. Semua ini dilakukan dengan kecepatan yang lebih cepat.

Microsoft Research mengusulkan kerangka kerja baru, LongMem, yang memungkinkan panjang konteks tak terbatas bersamaan dengan pengurangan penggunaan memori GPU dan kecepatan inferensi yang lebih cepat. Kode akan bersumber terbuka
oleh u/llamaShill di dalam LLaMA lokal

Apakah LongMem adalah jawaban Microsoft untuk panjang konteks tak terbatas?

Nah, untuk memahami apa artinya memiliki panjang konteks yang tidak terbatas, pertama-tama kita perlu memahami apa yang dimaksud dengan panjang konteks?

Panjang konteks mengacu pada jumlah token (kata, tanda, dll) yang diizinkan oleh model, input dan outputnya, dan milik Anda juga.

Misalnya, ChatGPT memiliki jumlah token yang terbatas yang berarti panjang konteksnya juga terbatas. Segera setelah ChatGPT melewati batas itu, maka semua interaksi berkelanjutan yang Anda lakukan dengannya hingga saat itu, akan kehilangan semua signifikansinya. Atau lebih baik dikatakan, itu akan diatur ulang.

Jadi, jika Anda memulai percakapan dengan ChatGPT tentang masalah Windows, dan percakapan itu berlangsung lebih lama dari konteks terbatas panjang, maka alat AI akan kehilangan konteks, dan akan mulai menyimpang dari subjek, atau seluruh percakapan akan mengatur ulang.

Panjang konteks yang tidak terbatas akan memastikan hal itu tidak akan terjadi, dan model AI akan terus menjawab Anda tentang subjek tersebut, sambil mempelajari dan mengadaptasi informasi saat Anda membicarakannya tentang Windows.

Itu berarti model AI juga akan mempersonalisasi percakapan sesuai dengan masukan Anda, oleh karena itu konteksnya harus memiliki panjang yang tidak terbatas.

Bagaimana cara kerja LongMem?

Microsoft menjanjikan hal itu dengan penelitian baru mereka tentang kerangka kerja, LongMem. LongMem akan mengaktifkan model bahasa besar untuk mengingat konteks jangka panjang dan memanfaatkan memori jangka panjang dengan daya CPU yang berkurang.

Kerangka kerja terdiri dari model bahasa besar yang dibekukan sebagai encoder memori, jaringan sisi sisa sebagai pengambil dan pembaca memori, dan bank memori yang di-cache yang menyimpan pasangan kunci-nilai dari masa lalu konteks.

Dalam penelitian yang dilakukan oleh Microsoft, percobaan menunjukkan bahwa LongMem mengungguli baseline pada pemodelan bahasa teks panjang, pemahaman konteks panjang, dan tugas pembelajaran dalam konteks yang diperbesar memori. Plus, memori jangka panjang memungkinkannya memanfaatkan lebih banyak contoh demonstrasi untuk pembelajaran yang lebih baik.

Dan kabar baiknya adalah LongMem akan menjadi open-source. Jadi, Anda akan dapat mempelajarinya dan mempelajari cara mengimplementasikan kerangka kerja dalam model AI Anda sendiri. Anda dapat memeriksa profil GitHub-nya di sini.

Dan jika Anda tertarik untuk membaca seluruh makalah penelitian tentang kerangka kerja, pergilah ke sini dan periksa.

Apa pendapat Anda tentang terobosan teknologi baru ini? Apakah ini akan merevolusi cara kerja model AI? Pastikan untuk memberi tahu kami pemikiran dan pendapat Anda di bawah ini.