-
Kétszer gyorsabb AI-inferencia a Character.ai-nál az AMD és DigitalOcean segítségével
A mesterséges intelligencia által vezérelt alkalmazásoknál az alacsony késleltetés és a magas feldolgozási kapacitás kulcsfontosságú. A Character.ai, amely világszerte mintegy 20 millió felhasználóval büszkélkedhet, ezért lépett partnerségre az AMD-vel és a DigitalOcean-nal, hogy jelentősen javítsák a GPU-alapú inferencia teljesítményét és csökkentsék az üzemeltetési költségeket. A közös munka eredményeként a csapatok képesek voltak megduplázni a termelési inferencia áteresztőképességet, miközben megtartották a szigorú késleltetési feltételeket. Az együttműködés háttere és céljai A Character.ai többféle modellt használ, köztük a Qwen és a Mistral modelleket, hogy kiszolgálja felhasználóit. A projekt fókuszában a Qwen3-235B Instruct FP8 modell állt, amelyet a DigitalOcean AMD Instinct™ MI300X és MI325X GPU platformján futtattak. A cél az volt, hogy egy nyolc…