Az egyre nagyobb nyelvi modellek fejlesztésekor az egyik legnagyobb kihívás a hosszú szövegek kezelése. Egy könyv vagy akár több dokumentum feldolgozása több százezer, akár millió tokenes kontextust igényel, ami a hagyományos GPU-k memóriakapacitását messze meghaladja. Az Ulysses Sequence Parallelism ebben hoz áttörést, lehetővé téve, hogy a hosszú szekvenciákon alapuló tanítás hatékonyan, több GPU között megosztva történjen. Miért nehéz a hosszú szekvenciás tanítás? A transformer alapú modellek figyelemmechanizmusa (attention) négyzetesen skálázódik a szekvencia hosszával, vagyis ha a szöveg kétszer hosszabb, az számítási és memóriaigényben négyszeres növekedést jelent. Ez az oka annak, hogy már pár tízezer tokenes szekvenciáknál is gyorsan elfogy a GPU memóriája. Bár az olyan optimalizációk, mint a FlashAttention, jelentősen…