Cloudflare Blokkolja a Perplexity-t: Aggresszív Crawling Változásai

Cloudflare nemrég bejelentette, hogy eltávolította a Perplexity nevű keresőbotot a megbízható botok listájáról, és mostantól aktívan blokkolja annak hozzáférését weboldalakhoz. Az intézkedés hátterében több felhasználói panasz állt, amelyek a Perplexity robots.txt protokollokkal való visszaéléseire utaltak. A vizsgálat során kiderült, hogy a Perplexity agresszív és szabálytalan bot taktikákat alkalmazott, hogy bejuthasson az oldalakra.

A Cloudflare Verified Bots Program

A Cloudflare rendelkezik egy úgynevezett Verified Bots rendszerrel, amely a megbízható botokat fehérlistázza, lehetővé téve számukra, hogy hozzáférjenek azokhoz a weboldalakhoz, amelyeket a Cloudflare véd. A megbízható botoknak meg kell felelniük bizonyos előírásoknak, például tiszteletben kell tartaniuk a robots.txt protokollokat. A Perplexity azonban megszegte ezeket a követelményeket, mivel nem tartotta be a robots.txt irányelveit, és olyan IP-címeket használt, amelyek nem voltak hivatalosan nyilvántartva.

A Perplexity szabálytalan tevékenységei

A Cloudflare különböző agresszív mászási magatartásokat figyelt meg a Perplexity esetében, amelyek célja a robots.txt protokoll megkerülése volt. Az IP-címek forgatása és a felhasználói ügynökök manipulálása jellemezte a Perplexity tevékenységét. A Perplexity megpróbálta elkerülni a blokkolást azáltal, hogy folyamatosan váltott az IP-címek között, beleértve olyanokat is, amelyek nem voltak hivatalosan a Perplexity által használt címtartományban.

A Cloudflare megfigyelései szerint a Perplexity a felhasználói ügynökét is megváltoztatta, hogy kijátssza a blokkolásokat. A botok az alábbi felhasználói ügynököket használták: PerplexityBot és Perplexity-User. Amikor a Cloudflare blokkolta a Perplexity botjait, azok egy másik felhasználói ügynököt alkalmaztak, amely egy valós böngészőnek, például a Chrome-nak álcázta magát.

Mit jelent ez a SEO számára?

A Cloudflare döntése, hogy blokkolja a Perplexity botot, jelentős következményekkel járhat a weboldalak SEO-jára nézve. Azok a Cloudflare felhasználók, akik szeretnék, hogy a Perplexity hozzáférjen az oldalaikhoz, ellenőrizniük kell, hogy a Cloudflare blokkolja-e a Perplexity crawlereit, és ha igen, engedélyezniük kell a mászást a Cloudflare irányítópultján keresztül. A Perplexity viselkedése világosan megmutatja, hogy a weboldalak védelme érdekében milyen fontos a robots.txt protokollok betartása.

A Cloudflare válasza a Perplexity viselkedésére figyelemfelkeltő, hiszen ez a lépés a botok által végzett agresszív mászási magatartás elleni határozott fellépést jelenti. A jövőben érdemes figyelni, hogyan alakulnak a botok és a weboldalak közötti interakciók, mivel a keresőoptimalizálás ezen aspektusa kulcsfontosságú lehet a weboldalak sikerében.

Császár Viktor véleménye a történésekről

Megkérdeztük Császár Viktor SEO szakértőt, hogy kommentálja a Cloudflare és a Perplexity közötti konfliktust. Viktor elmondta: „A Cloudflare döntése, hogy blokkolja a Perplexity botot, egyértelmű üzenet a weboldaltulajdonosok számára, hogy mennyire fontos a botszabályok betartása. A botoknak transzparens módon kell működniük, és tiszteletben kell tartaniuk a weboldalak védelmét szolgáló irányelveket. Az ilyen agresszív mászási taktikák végső soron alááshatják a weboldalak biztonságát és integritását. A SEO szakembereknek figyelniük kell arra, hogy a weboldalaik milyen botok előtt nyitottak, és szükség esetén módosítaniuk kell a beállításaikat a Cloudflare irányítópultján. Ez a helyzet rámutat arra, hogy a webes környezet folyamatosan változik, és a SEO stratégiákat ennek megfelelően kell alakítani.”

További információkért látogasson el Császár Viktor weboldalára: csaszarviktor.hu.

Forrás: SearchEngineJournal.com