Perplexity Search API: pontosabb keresés és dinamikus benchmarkok

A keresési technológiák folyamatos fejlődése újabb mérföldkőhöz érkezett a Perplexity csapatának legfrissebb fejlesztései kapcsán. Az idei szeptemberben bemutatott Search API technológiai háttere és az open-source search_evals értékelő keretrendszer óriási előrelépést hozott a keresési találatok relevanciájában és méretoptimalizálásában. A fejlesztők célja az volt, hogy a keresőmotor által visszaadott szövegrészletek – vagyis a snippetek – minél pontosabban tükrözzék a lekérdezés tartalmát, miközben a lehető legkevesebb felesleges információt tartalmazzák.

Új megközelítés: szövegdarabok szintű értékelés

A snippetek minőségének javításához a Perplexity mérnökei egy teljesen új értékelési rendszert dolgoztak ki, amely nem pusztán a dokumentum egészét, hanem annak kisebb szakaszait, úgynevezett span-eket vizsgálja. Ez a módszer lehetővé teszi, hogy a rendszer külön kategóriákba sorolja a szövegrészeket: megkülönbözteti azokat, amelyek elengedhetetlenek a kérdés megválaszolásához („vital” span-ek), a teljesen irreleváns tartalmakat, illetve az ismétlődő vagy felesleges elemeket. Ennek köszönhetően pontosan mérhető, hogy milyen mértékben tartalmaz a snippet hasznos információt, és milyen arányban tudja kizárni a mellékes részeket.

Az új értékelési módszerrel a snippetek nemcsak relevánsabbak, hanem kisebbek is lettek, így a válaszok gyorsabbak és hatékonyabbak. Az algoritmus képes kezelni bonyolultabb adatstruktúrákat is, mint például táblázatokat, beágyazott listákat vagy dinamikusan generált tartalmakat, amelyeket korábbi szabályalapú rendszerek még nem tudtak megbízhatóan feldolgozni.

Hatékonyabb válaszok, kisebb token-költség

Az új snippet-készítési technológia jelentősen javítja a válaszok pontosságát, miközben csökkenti a szükséges token-mennyiséget. Ez különösen fontos a mesterséges intelligencia alapú nyelvi modelleknél, amelyek token-alapú elszámolás szerint működnek. A kisebb, de relevánsabb szövegrészletek lehetővé teszik, hogy a fejlesztők csökkentsék a válaszok generálásának költségeit, miközben javul a kontextus kezelése és az összetett kérdések megválaszolása.

SEAL: az időérzékeny keresések új mércéje

A SEAL benchmark egy speciális teszt, amely azt vizsgálja, mennyire képes egy keresőrendszer olyan kérdésekre válaszolni, amelyek helyes válasza idővel változik. Ehhez elengedhetetlen az indexek naprakészsége, a valós idejű adatokból történő intelligens snippet-kivonás, valamint a pontos adatfeldolgozás, amely megkülönbözteti a friss információkat a régebbi, már elavult tartalmaktól. A Perplexity Search API ezen a területen is kiemelkedően teljesített, az értékelések szerint a legfrissebb verziókban növekedett a pontosság a SEAL-Hard kihívások alatt, miközben más szolgáltatók eredményei csökkentek.

Több lekérdezés, finomabb szűrési lehetőségek

Az API fejlesztései között megjelent a több lekérdezés támogatása is, ami lehetővé teszi, hogy egyszerre akár öt különböző kérdést küldjünk, és az eredmények lekérdezésenként, rendezett formában érkezzenek vissza. Ez különösen hasznos olyan alkalmazások számára, amelyek összetett kérdéseket bontanak le kisebb keresési feladatokra.

Emellett kibővült a szűrési paletta is: a domain-alapú szűrés mellett immár nyelv szerinti és régió szerinti keresés is elérhető. Például szűkíthetünk angol nyelvű találatokra, csak németországi weboldalakról érkező eredmények között. Ezek a finomhangolások segítik a pontosabb, célzottabb keresést, amely a fejlesztők és a felhasználók számára is nagyobb kontrollt biztosít.

Egyszerűbb integráció és hozzáférés

A Python SDK-n keresztül elérhető Search API natív támogatást kapott a Perplexity Agent API és Sonar API mellett, így a fejlesztők egyetlen csomagból, könnyen tudják kezelni az összes funkciót. A telepítés egyszerű (pip install perplexityai), a dokumentáció pedig részletesen bemutatja a lehetőségeket a docs.perplexity.ai oldalon.

Az új fejlesztések egyértelműen azt mutatják, hogy a keresőtechnológia nemcsak a gyorsaság és a találatok mennyisége alapján mérhető, hanem a relevancia mélyebb, szövegrészlet szintű elemzésével is jelentős előrelépést tehetünk.