Mit csinál és hogyan működik ez az első hallásra különösnek, talán érthetetlennek tűnő valami, a nagy nyelvi modell (LLM – Large Language Model)? Beszéljünk róla, hogy magabiztosabban készíthesd a promptjaidat.
A nagy nyelvi modell (Large Language model: LLM) egy gépi tanulási modell. Deep learning (mély tanulási) algoritmust (deep learning) használnak benne a természetes nyelv feldolgozására, megértésére.
Nagy nyelvi modell – A következő szó
A nagy nyelvi modellek működésének lényege, hogy veszi a gépi tanulási modell az általad írt promptot, és azt felhasználva megpróbálja kitalálni a következő szót (vagy tokent).
Veszi ezt az előállított szót és a promptot, aztán megint próbálja előállítani a következő szót. Ennél persze sokkal bonyolultabb a dolog, de alapvetően erről van szó.
Addig generálja a szavakat, tokeneket sorban egymás után a megadott prompt figyelembe vételével, míg elkészül a válasszal. Úgy is mondhatjuk, hogy egymás után létrehozott szavakkal válaszol a promptodra.
Hogyan tanult a nagy nyelvi modell?
Elővettek rengeteg ismert, már kész szöveget. Kivettek egy szövegrészt az elejéről, és újra, meg újra ezt adták meg promptként a nagy nyelvi modellnek.
Addig hangolgatták a modell rengeteg (több milliárd vagy akár trillió) lehetséges beállítási lehetőségét, amíg azt a kimenetet, azt a következő szót nem adta, amit vártak tőle. Sok-sok szöveggel, adattal, működési paraméter állításával. Ettől NAGY nyelvi modell a neve.
A következó szó kitalálásához figyelembe veszi a szövegkörnyezetet: a megelőző szavakat, az adott mondatot, a tanult szövegkörnyezeteket, a szavak közötti kapcsolatokat…
Amikor prompt enginneringgel foglalkozol vagy csak szimplán promptot tervezel, közben kommunikálsz a nagy nyelvi modellel, próbáld a fejedben tartani ezt az alapvető működési módot:
- a prompt figyelembe vételével
- az emberi nyelvi környezet megtanult ismerete alapján
- a válaszként eddig már megalkotott szövegrészből
- a valószínű következő szó előállítását.
A nagy nyelvi modellek egyre csak fejlődnek
Sorban érkeznek a bejelentések a nagy nyelvi modellekről. A már ismert nagy nyelvi modelleknek is készülnek az egyre kifinomultabb változatai. Csak néhányat megemlítve: hallhattál például a ChatGPT-ről, Bard-ról, LLama-ról, Claude-ról stb.
Nyitottság a kísérletezésre
A nagy nyelvi modellek fejlődésével lesznek időt álló működési elveik, és lesznek, amik nagyon gyorsan változnak majd, a még jobb teljesítmény érdekében.
Ha hasznos, jó promptokat akarsz írni, készülj fel, hogy kreatív módon, kísérletezve kell haladnod a használatukkal. A válaszok sok esetben nem lesznek tökéletesek első próbálkozásra.
Változatos válaszok
Készülj fel arra is, hogy nem mindig kapod ugyanazokat a válaszokat.
Vannak persze kérdések, ahol nincs helye változatosságnak, ilyenkor azt várjuk, hogy ugyanaz a válasz érkezik, de általánosságban, arra vannak felkészítve a nagy nyelvi modellek, hogy a prompt függvényében, vigyenek valamennyi változatosságot, véletlenszerűságet is a válaszba.
Lehetnek változatosságok a kimentben, és persze lehetnek benne hibák is, hiszen egyetlen modellt sem lehet tökéletesre, minden helyzetben tökéletes választ adóra felkészíteni.
Ezt tudatosan figyelembe kell venned, amikor a nagy nyelvi modellt, mint eszközt beépíted a folyamataidba.
A tanító adatok időbeli korlátossága a nagy nyelvi modellben
A nagy nyelvi modellek egyes verzióit a tanításra addig elérhető és abból felhasznált adatok figyelembe vételével tanították.
Ha egy modellhez például a 2021-ig rendelkezésre álló szövegeket használtak, akkor nem várhatunk tőle olyan kérdésekben jó válaszokat, amik tényszerűen csak későbbi szövegek alapján állnának rendelkezésre.
Érdemes azzal kezdened egy nagy nyelvi modell használatát, hogy rákérdezel az ilyen jellegű korlátaira.
És, ha ezt meghaladó tudást feltételező válaszokat akarsz kapni a nagy nyelvi modelltől, akkor a plusz információt meg kell adnod a promptodban, hogy azzal is tudjon dolgozni a modell.
Ezek voltak talán a legfontosabb elvek a nagy nyelvi modellekről, hogy alap szinten velem tudjál haladni a prompt tervezésben. Folytatjuk legközelebb egy újabb prompt tervezési megfontolással.
Ne felejts el feliratkozni a Youtube csatornára.
