Az utóbbi években a nagy nyelvi modellek (LLM-ek) jelentős előrelépést tettek az általános feladatok megoldásában, azonban a speciális, iparági vagy vállalati adatokkal kapcsolatos munkákban még mindig komoly kihívásokkal néznek szembe. A szakértői finomhangolás (supervised fine-tuning, SFT) teszi lehetővé, hogy egy alapmodell alkalmazkodjon az adott szervezet egyedi igényeihez, de ennek két eltérő módszere létezik: a paraméterhatékony finomhangolás (PEFT), amely csak a modell egy részét frissíti, és a teljes paraméterfrissítés, azaz full-rank SFT, ami minden paramétert átdolgoz. Míg az előbbi gyorsabb és olcsóbb, addig a teljes finomhangolás több domain-specifikus tudást képes beépíteni – ám ezzel együtt gyakran jelentkezik a „katasztrofális felejtés” problémája, amikor a modell elveszíti általános tudását és képességeit. Az Amazon…