-
Ingyenes AI-modellek finomhangolása Unsloth és Hugging Face segítségével
Az egyre népszerűbb nagy nyelvi modellek (LLM-ek) finomhangolása ma már nem csupán a nagyvállalatok kiváltsága. Az Unsloth és a Hugging Face Jobs platformjainak köszönhetően bárki hozzáférhet gyors és költséghatékony megoldásokhoz, hogy saját AI-modellt fejlesszen vagy szabjon testre. Az eszközök segítségével akár kisebb modelleket is hatékonyan lehet tréningezni, méghozzá minimális erőforrásigénnyel és költséggel. Miért érdemes kisebb nyelvi modellekkel dolgozni? A nagy nyelvi modellek hatalmas számítási kapacitást és költségvetést igényelnek, ami sok fejlesztő és kutató számára megfizethetetlen. Ezzel szemben a kisebb modellek, mint például a LiquidAI/LFM2.5-1.2B-Instruct, ideálisak finomhangolásra. Ezek a modellek kevesebb mint 1 GB memóriát használnak, így könnyen futtathatók akár laptopokon, telefonokon vagy akár CPUs környezetben is. Emiatt gyorsabb az iteráció,…
-
Smol AI WorldCup: Kis modellek, nagy meglepetések az AI világában
Az elmúlt években az AI fejlesztések középpontjában a hatalmas nyelvi modellek álltak, amelyek több milliárd paraméterrel dolgoznak, és komoly erőforrásokat igényelnek. Ám a valódi kihívás ma már nem csak a hatalmas számítási kapacitású szervereken futó modellek versenye, hanem az úgynevezett „edge AI” – vagyis a kisebb, helyben futó, energiatakarékos megoldások fejlesztése. Ebben a versenyben mutatkozik be a Smol AI WorldCup, az első benchmark, amely kifejezetten a kis nyelvi modellek éles környezetben való teljesítményét méri. Miért volt szükség új mérőszámra? A hagyományos AI benchmarkok, mint az MMLU vagy a HumanEval, általában csak az intelligenciára fókuszálnak, vagyis arra, mennyire „okos” egy modell. Ez azonban kevés, ha a modellt például egy okostelefonon vagy…
