A nagy nyelvi modellek (LLM-ek) egyre nagyobb szerepet kapnak a mesterséges intelligencia világában, a teljesítményük és hatékonyságuk azonban mindig kulcskérdés. Az EAGLE módszer eddig a legmodernebb megoldás volt a spekulatív dekódolás terén, ám annak autoregresszív jellege egy komoly korlátot jelentett a sebesség növelésében. Most azonban megérkezett a P-EAGLE, amely párhuzamos draft generálással törte át ezt a plafont, és akár 1,69-szeres gyorsulást tesz lehetővé a hagyományos EAGLE-hez képest. A technológia már elérhető és integrálható a vLLM keretrendszerbe, így a fejlesztők és kutatók számára könnyen hozzáférhetővé válik. Mi volt az EAGLE korlátja? Az EAGLE nagy előrelépést hozott a spekulatív dekódolásban, hiszen képes volt 2-3-szoros sebességnövekedést elérni a hagyományos autoregresszív dekódoláshoz képest. Ez…