A mesterséges intelligencia fejlesztése során egyre nagyobb kihívást jelent a folyamatosan változó, ideiglenes adatok kezelése. A Hugging Face legújabb fejlesztése, a Storage Buckets, pontosan erre kínál praktikus megoldást. Ez az új, S3-szerű objektumtároló rendszer lehetővé teszi, hogy a gépi tanulási munkafolyamatok közben keletkező checkpointok, optimalizátor állapotok vagy akár naplófájlok gyorsan és egyszerűen, verziókezelés nélkül legyenek tárolhatók és kezelhetők a Hubon. Miért volt szükség a Storage Buckets bevezetésére? A hagyományos verziókezelő rendszerek, mint a Git, hamar korlátokba ütköznek, ha nagy mennyiségű, folyamatosan változó adatot kell kezelni. Gondoljunk csak egy több gépből álló tanító klaszterre, ahol a checkpointok és optimalizátor állapotok rendszeresen frissülnek, vagy egy adatfeldolgozó pipeline-ra, amely iteratív módon dolgozza fel…