-
Cloudflare Blokkolja a Perplexity-t: Aggresszív Crawling Változásai
Cloudflare nemrég bejelentette, hogy eltávolította a Perplexity nevű keresőbotot a megbízható botok listájáról, és mostantól aktívan blokkolja annak hozzáférését weboldalakhoz. Az intézkedés hátterében több felhasználói panasz állt, amelyek a Perplexity robots.txt protokollokkal való visszaéléseire utaltak. A vizsgálat során kiderült, hogy a Perplexity agresszív és szabálytalan bot taktikákat alkalmazott, hogy bejuthasson az oldalakra. A Cloudflare Verified Bots Program A Cloudflare rendelkezik egy úgynevezett Verified Bots rendszerrel, amely a megbízható botokat fehérlistázza, lehetővé téve számukra, hogy hozzáférjenek azokhoz a weboldalakhoz, amelyeket a Cloudflare véd. A megbízható botoknak meg kell felelniük bizonyos előírásoknak, például tiszteletben kell tartaniuk a robots.txt protokollokat. A Perplexity azonban megszegte ezeket a követelményeket, mivel nem tartotta be a robots.txt…
-
Perplexity válaszol: Cloudflare tévesen blokkolja az AI asszisztenseket
A közelmúltban a Perplexity nevű cég reagált a Cloudflare állításaira, amelyek szerint a Perplexity AI asszisztensei tiszteletteljesen kezelik a robots.txt fájlokat, és elnyomják a megfelelő weboldalakat. A Perplexity képviselői hangsúlyozták, hogy az AI asszisztensek nem web crawler-ek, így nem kellene őket ugyanazon korlátozásokkal sújtani, mint a hagyományos keresőrobotokat. Az AI asszisztensek működése során a felhasználók által kezdeményezett kereséseket követik, amelyek célja, hogy a felhasználók számára releváns információkat szolgáltassanak. A Perplexity védekezése A Perplexity állítja, hogy rendszere nem tárolja vagy indexeli előre a weboldalak tartalmát. Ahelyett, hogy folyamatosan keresné az információkat, a Perplexity AI asszisztensek csupán a felhasználók konkrét kérdéseire reagálnak. Például, ha egy felhasználó friss étterem értékeléseket keres, az asszisztens…
