Nick Gray, creador de PatronView, lleva año y medio analizando el impacto de los bots de IA en su web. En una sola semana su servidor sirvió 1,28 millones de páginas, mientras que las visitas verdaderas fueron 5.977. La conclusión era clara: por cada página vista real había 214 procedentes de bots, y la cosa va a más, no a menos. Como él decía, "el 99% del tráfico de mi sitio web son bots". Claude es un glotón. Gray empezó a medir la actividad de los rastreadores de internet con una métrica muy sencilla: páginas rastreadas por cada visitante. Google necesita unas 46 para su motor de búsqueda, pero este desarrollador descubrió que el bot de rastreo (webcrawler) de Claude, llamado Claude-Searchbot, solicitó 420.680 páginas en una semana, y Claude le envió solo 12 usuarios a su web. O lo que es lo mismo: necesitó 35.000 páginas visitdas por una que hacía que una persona visitase su web. Gray acabó bloqueándolo, y Anthropic respetó el código 403 que instaló en su servidor web. Eso provocó que las decenas de miles de solicitudes diarias por parte de Claude se quedaran en unos pocos intentos. En Xataka El precio a pagar por tener IA es el saqueo de todo el contenido de Internet. Y Perplexity es solo el último ejemplo Amazon es aún peor. Amzn-SearchBot, utilizado para productos de Amazon como Rufus y Alexa, fue incluso más avaricioso al rastrear la web de este usuario. Según sus datos, ese rastreador estaba accediendo a 117.000 páginas de su web Patronview al día. Y lo más sangrante es que no tenía ni una sola página vista enviada por Amazon a su sitio web, así que su ratio entre páginas consumidas y lectores recibidos era literalmente infinito. También bloqueó a este bot y comprobó que estos rastreadores de plataformas de IA lo piden todo sin ofrecer prácticamente nada a cambio. Bots camuflados. En abril PatronView recibió 3,6 millones de accesos en un solo día procedentes de 361.844 direcciones IP distintas, casi todas ubicadas en China. Luego llegaron oleadas de accesos desde Vietnam y Singapur, navegadores Chrome automatizados alojados en AWS y Azure y también en redes de proxies residenciales. Estas últimas fueron especialmente difíciles de identificar porque los accesos provienen de conexiones domésticas aparentemente normales. Y no lo eran. La defensa tiene un precio. Gray utilizaba las detecciones de ejecución de código JavasScript que ofrece Cloudflare para poder distinguir entre humanos y máquinas. Sin embargo, descubrió que dicho sistema añadía 2,875 segundos de procesamiento en un móvil de gama media, lo que penalizaba su rendimiento web. De hecho, al desactivar esa protección su puntuación en Lighthouse, que evalúa esa experiencia y velocidad de sitios web, pasó de 58 a 99. Justo después de bloquearla un scraper alojado en Azure descargó 23.000 páginas en una hora repartiendo las solicitudes entre más de 80 IPs para evitar hacer saltar los límites. Creando la muralla antibot. Este usuario acabó creando un mecanismo de bloqueo para estos bots que bloquea determinados países y rastreadores, pero que además utiliza sistemas CAPTCHA si detecta grandes centros de datos, filtra navegadores sospechosamente antiguos y aplica límites de velocidad. El resultado se vio 48 horas después. Cloudflare por ejemplo activó 106.437 popups con CAPTCHA y solo 252 fueron resueltos, un 0,24%. Para Gray la conclusión es clara: uno no puede fiarse de Google Analytics, Plausible o herramientas similares: para saber quién consume realmente una web hay que mirar los logs del servidor. Los bots suben la factura. Y es que además en el caso de esta web, ese rastreo continuo de bots subía la factura. PatronView le cuesta unos 90 dólares al mes, pero durante uno de los peores picos de tráfico por bots, su factura creció cerca del 500%. Eso sin contar que las analíticas dejaron de ser útiles y que su sitio web se convirtió en pasto de los bots durante todo ese tiempo mientras él pagaba la factura. La IA se ha construido saqueando el contenido de Internet. Ahora hay gente que quiere cobrar por permitirlo Si quieres rastrear, paga. Para este usuario la solución final sería sencilla: cobrar por rastrear. Cloudflare ya trabaja en el sistema pay per crawl que permitirá que los propietarios de sitios web pongan precio al acceso de los bots. Hasta que exista algo así, Gray aplica una regla mucho más sencilla y lógica: si un rastreador no le devuelve visitantes, lo bloquea. Que Google te rastreara era razonable. Que lo haga la IA está siendo insostenible. En Xataka | Todas las grandes IA han ignorado las leyes del copyright. Lo alucinante es que sigue sin haber consecuencias (function() { window._JS_MODULES = window._JS_MODULES || {}; var headElement = document.getElementsByTagName('head')[0]; if (_JS_MODULES.instagram) { var instagramScript = document.createElement('script'); instagramScript.src = 'https://platform.instagram.com/en_US/embeds.js'; instagramScript.async = true; instagramScript.defer = true; headElement.appendChild(instagramScript); } })(); - La noticia "El 99% de mi tráfico ahora es de bots": la IA sigue llevándoselo todo de internet fue publicada originalmente en Xataka por Javier Pastor .
"El 99% de mi tráfico ahora es de bots": la IA sigue llevándoselo todo de internet
Nick Gray, creador de PatronView, lleva año y medio analizando el impacto de los bots de IA en su web. En una sola semana su servidor sirvió 1,28 millones de páginas, mientras que las visitas verdaderas fueron 5.977. La conclusión era clara: por cada página vista real había 214 procedentes de bots, y la cosa va a más, no a menos. Como él decía, "el 99% del tráfico de mi sitio web son bots". Claude es un glotón. Gray empezó a medir la actividad de los rastreadores de internet con una métrica muy sencilla: páginas rastreadas por cada visitante. Google necesita unas 46 para su motor de búsqueda, pero este desarrollador descubrió que el bot de rastreo (webcrawler) de Claude, llamado Claude-Searchbot, solicitó 420.680 páginas en una semana, y Claude le envió solo 12 usuarios a su web. O lo que es lo mismo: necesitó 35.000 páginas visitdas por una que hacía que una persona visitase su web. Gray acabó bloqueándolo, y Anthropic respetó el código 403 que instaló en su servidor web. Eso provocó que las decenas de miles de solicitudes diarias por parte de Claude se quedaran en unos pocos intentos. En Xataka El precio a pagar por tener IA es el saqueo de todo el contenido de Internet. Y Perplexity es solo el último ejemplo Amazon es aún peor. Amzn-SearchBot, utilizado para productos de Amazon como Rufus y Alexa, fue incluso más avaricioso al rastrear la web de este usuario. Según sus datos, ese rastreador estaba accediendo a 117.000 páginas de su web Patronview al día. Y lo más sangrante es que no tenía ni una sola página vista enviada por Amazon a su sitio web, así que su ratio entre páginas consumidas y lectores recibidos era literalmente infinito. También bloqueó a este bot y comprobó que estos rastreadores de plataformas de IA lo piden todo sin ofrecer prácticamente nada a cambio. Bots camuflados. En abril PatronView recibió 3,6 millones de accesos en un solo día procedentes de 361.844 direcciones IP distintas, casi todas ubicadas en China. Luego llegaron oleadas de accesos desde Vietnam y Singapur, navegadores Chrome automatizados alojados en AWS y Azure y también en redes de proxies residenciales. Estas últimas fueron especialmente difíciles de identificar porque los accesos provienen de conexiones domésticas aparentemente normales. Y no lo eran. La defensa tiene un precio. Gray utilizaba las detecciones de ejecución de código JavasScript que ofrece Cloudflare para poder distinguir entre humanos y máquinas. Sin embargo, descubrió que dicho sistema añadía 2,875 segundos de procesamiento en un móvil de gama media, lo que penalizaba su rendimiento web. De hecho, al desactivar esa protección su puntuación en Lighthouse, que evalúa esa experiencia y velocidad de sitios web, pasó de 58 a 99. Justo después de bloquearla un scraper alojado en Azure descargó 23.000 páginas en una hora repartiendo las solicitudes entre más de 80 IPs para evitar hacer saltar los límites. Creando la muralla antibot. Este usuario acabó creando un mecanismo de bloqueo para estos bots que bloquea determinados países y rastreadores, pero que además utiliza sistemas CAPTCHA si detecta grandes centros de datos, filtra navegadores sospechosamente antiguos y aplica límites de velocidad. El resultado se vio 48 horas después. Cloudflare por ejemplo activó 106.437 popups con CAPTCHA y solo 252 fueron resueltos, un 0,24%. Para Gray la conclusión es clara: uno no puede fiarse de Google Analytics, Plausible o herramientas similares: para saber quién consume realmente una web hay que mirar los logs del servidor. Los bots suben la factura. Y es que además en el caso de esta web, ese rastreo continuo de bots subía la factura. PatronView le cuesta unos 90 dólares al mes, pero durante uno de los peores picos de tráfico por bots, su factura creció cerca del 500%. Eso sin contar que las analíticas dejaron de ser útiles y que su sitio web se convirtió en pasto de los bots durante todo ese tiempo mientras él pagaba la factura. La IA se ha construido saqueando el contenido de Internet. Ahora hay gente que quiere cobrar por permitirlo Si quieres rastrear, paga. Para este usuario la solución final sería sencilla: cobrar por rastrear. Cloudflare ya trabaja en el sistema pay per crawl que permitirá que los propietarios de sitios web pongan precio al acceso de los bots. Hasta que exista algo así, Gray aplica una regla mucho más sencilla y lógica: si un rastreador no le devuelve visitantes, lo bloquea. Que Google te rastreara era razonable. Que lo haga la IA está siendo insostenible. En Xataka | Todas las grandes IA han ignorado las leyes del copyright. Lo alucinante es que sigue sin haber consecuencias (function() { window._JS_MODULES = window._JS_MODULES || {}; var headElement = document.getElementsByTagName('head')[0]; if (_JS_MODULES.instagram) { var instagramScript = document.createElement('script'); instagramScript.src = 'https://platform.instagram.com/en_US/embeds.js'; instagramScript.async = true; instagramScript.defer = true; headElement.appendChild(instagramScript); } })(); - La noticia "El 99% de mi tráfico ahora es de bots": la IA sigue llevándoselo todo de internet fue publicada originalmente en Xataka por Javier Pastor .