Az utóbbi években a mesterséges intelligencia és a nagy nyelvi modellek (LLM-ek) egyre nagyobb szerepet kaptak az informatikai automatizálásban. Különösen az IT ügynökök, vagyis az önállóan működő szoftveres asszisztensek, amelyek komplex feladatokat végeznek el, például hibák diagnosztizálását vagy rendszerkarbantartást. Az IBM Research és a Kaliforniai Egyetem Berkeley kutatói közösen vizsgálták, hogy miért hibáznak ezek az ügynökök, és hogyan lehetne ezt a problémát jobban megérteni és kezelni. A „fekete doboz” probléma az ügynökértékelésben A szakmai világban megszokott, hogy az automatizált rendszerek teljesítményét egyetlen számjeggyel mérik, például sikeres vagy sikertelen futás alapján. Ez azonban nem árulja el, mi okozza a hibát, vagyis a rendszerek működésének belső problémái rejtve maradnak – ezért nevezik…