Afirma que la confusión encarna los sitios web, por lo que no se supone que sea, nuevamente

Se afirma que la web se rastrea que son publicadas por confusión para raspar los sitios web Un nuevo informe de Cloudflare. Específicamente, el informe afirma que los robots de la compañía parecen ser «fantasmas que se arrastran» al ocultar su identidad para eludir los robots.txt archivos y las paredes de protección.

Robots.txt es un sitio de archivo simple que permite que el rastreo web sepa si pueden raspar el contenido de los sitios web o no. Confusión Robots de rastreo web Están «perplejos» y «un usuario confuso». En las pruebas de CloudFlare, la confusión aún podía mostrar el contenido de un nuevo sitio web, incluso cuando los robots especificados estaban prohibidos por robots.txt. El comportamiento se ha extendido a sitios web que contienen reglas específicas de pared de protección web (WAF) que también restringen el rastreo web.

Cloudflare cree que la confusión gira en torno a estos obstáculos mediante el uso de un «navegador general dirigido a hacerse pasar por Google Chrome en macOS» cuando los robots robots.txt están prohibidos por sus robots regulares. En las pruebas de CloudLFare, la celebración M no declarada de la compañía también puede rotar a través de las improbables direcciones IP IP en perplejidad para obtener paredes de protección. Cloudflare dice que la confusión parece que está haciendo lo mismo con los números de sistema independientes (ASNS) – ID para direcciones IP que son administradas por el mismo trabajo – escribe que ha monitoreado un ASNS que cambia «en decenas de miles de áreas y millones de solicitudes por día».

Engadget se ha comunicado a la confusión para comentar sobre el informe de CloudFlare. Actualizaremos este artículo si escuchamos.

La información moderna de los sitios web es vital para las empresas de capacitación en modelos de inteligencia artificial, especialmente con el uso de la confusión en el servicio como alternativas a los motores de búsqueda. Además, la confusión ha sido arrestada en el pasado, defraudando las reglas para mantenerse al tanto. Se informaron múltiples sitios web en 2024 Esta confusión todavía estaba alcanzando su contenido a pesar de su prohibición en robots.txt: es algo que la compañía culpó a la web que se arrastró al tercero que estaba usando en ese momento. Más tarde confusión Participé con varios editores Para compartir los ingresos obtenidos de los anuncios ofrecidos junto con su contenido, parece ser un buen trabajo para su comportamiento anterior.

Es posible que evitar que las empresas se arrastraran el contenido web sigan siendo un juego de Whack-A-Mole. Mientras tanto, Cloudflare eliminó los robots confundidos de La lista de robots verificados Se implementa una forma de determinar y evitar que el fantasma se arrastre confusión alcance el contenido de sus clientes.