-
Ingyenes AI-modellek finomhangolása Unsloth és Hugging Face segítségével
Az egyre népszerűbb nagy nyelvi modellek (LLM-ek) finomhangolása ma már nem csupán a nagyvállalatok kiváltsága. Az Unsloth és a Hugging Face Jobs platformjainak köszönhetően bárki hozzáférhet gyors és költséghatékony megoldásokhoz, hogy saját AI-modellt fejlesszen vagy szabjon testre. Az eszközök segítségével akár kisebb modelleket is hatékonyan lehet tréningezni, méghozzá minimális erőforrásigénnyel és költséggel. Miért érdemes kisebb nyelvi modellekkel dolgozni? A nagy nyelvi modellek hatalmas számítási kapacitást és költségvetést igényelnek, ami sok fejlesztő és kutató számára megfizethetetlen. Ezzel szemben a kisebb modellek, mint például a LiquidAI/LFM2.5-1.2B-Instruct, ideálisak finomhangolásra. Ezek a modellek kevesebb mint 1 GB memóriát használnak, így könnyen futtathatók akár laptopokon, telefonokon vagy akár CPUs környezetben is. Emiatt gyorsabb az iteráció,…
-
A llama.cpp és a GGML csatlakozik a Hugging Face-hez a helyi AI jövőjéért
A mesterséges intelligencia fejlődése egyre inkább a helyi futtatás, vagyis a Local AI irányába tolódik el, ahol a modellek nem felhőben, hanem közvetlenül a felhasználó eszközén futnak. Ebben a folyamatban kiemelt szerepet játszik a nyílt forráskódú llama.cpp projekt, amelyet a GGML csapata fejleszt. Nemrégiben bejelentették, hogy a GGML és a llama.cpp hivatalosan is csatlakozik a Hugging Face-hez (HF), hogy ezzel biztosítsák a projekt hosszú távú fenntarthatóságát és fejlődését. Mi változik a llama.cpp és a közösség számára? A GGML mögött álló Georgi Gerganov és csapata immár a Hugging Face keretein belül folytatja munkáját, amely elsősorban a közösség támogatására és a projekt skálázására fókuszál. A helyi AI egyre nagyobb lendületet kap, és…
-
Új Storage Buckets a Hugging Face Hubon: gyorsabb és hatékonyabb adattárolás
A mesterséges intelligencia fejlesztése során egyre nagyobb kihívást jelent a folyamatosan változó, ideiglenes adatok kezelése. A Hugging Face legújabb fejlesztése, a Storage Buckets, pontosan erre kínál praktikus megoldást. Ez az új, S3-szerű objektumtároló rendszer lehetővé teszi, hogy a gépi tanulási munkafolyamatok közben keletkező checkpointok, optimalizátor állapotok vagy akár naplófájlok gyorsan és egyszerűen, verziókezelés nélkül legyenek tárolhatók és kezelhetők a Hubon. Miért volt szükség a Storage Buckets bevezetésére? A hagyományos verziókezelő rendszerek, mint a Git, hamar korlátokba ütköznek, ha nagy mennyiségű, folyamatosan változó adatot kell kezelni. Gondoljunk csak egy több gépből álló tanító klaszterre, ahol a checkpointok és optimalizátor állapotok rendszeresen frissülnek, vagy egy adatfeldolgozó pipeline-ra, amely iteratív módon dolgozza fel…
