Registro de un pico anormal en el tráfico del sitio web (posiblemente causado por el rastreador de DataforSEO)

# El tráfico de mi sitio web es anormalmente alto, casi se duplica o triplica cada día. La consola de GA parece normal, pero finalmente descubrí que eran rastreadores.

Este artículo registra el problema de "el tráfico de mi sitio web es anormalmente alto, casi se duplica o triplica cada día. La consola de GA parece normal, pero finalmente descubrí que eran rastreadores", y el proceso de resolución. Espero que este evento pueda brindarle algo de experiencia. Si se encuentra con algo similar, no dude en leerlo.

## Resumen del problema
Recientemente, mi sitio web de recursos de juegos "[MainGamers](https://www.maingamers.com/)" ha experimentado un aumento masivo de tráfico, con un aumento constante de visitas durante varios días. Como se muestra en la consola de GA a continuación, hace unos días, el promedio de visitantes por día era inferior a 2000. En solo cuatro días, ¡ha aumentado a más de 200K!

![](https://res.lodenhu.com/media/media-cmjzyhfcz000001pa5iyq1ha7-1791888843005.webp)

Cuando el tráfico aumentó el primer y segundo día, pensé que era una explosión de tráfico debido a alguna palabra clave popular. Sin embargo, después de observar cuidadosamente, me di cuenta de que algo andaba mal. El número de visitantes aumentó drásticamente, pero el número de usuarios que iniciaron sesión en realidad no cambió. Esto no tiene sentido de ninguna manera. ¡Y descubrí que la mayor parte del tráfico se concentraba en la página de inicio de sesión!

## ¿Ataque de hackers?

Entonces no pude evitar preguntarme si esto era un ataque de hackers. Comencé a pensar en medidas defensivas.

Durante este período, intenté analizar los métodos y formas de "ataque" de los "hackers" para pensar en contramedidas, y tomé algunas medidas defensivas prácticas en Cloudflare, como limitación de velocidad, bloqueo de bots, habilitación de verificación interactiva por región, etc. Después de implementar estas medidas, parecía haber una mejora, como una reducción a la mitad del tráfico en tiempo real. Sin embargo, después de un día, ¡el total todavía seguía aumentando!

Empecé a dudar de mi vida... Luego pensé que, con tanto tráfico, mi servidor, que ya no era muy generoso, estaba intacto. ¿Este "hacker" es demasiado malo? ¿Hay hackers tan malos? Mi lógica me dice que no. Empecé a sentirme un poco perdido...

## Descubriendo la verdad
Como mi código no registraba activamente registros detallados, como el UserAgent y la dirección IP del visitante, no registré nada. Pensé que estos registros eran un poco excesivos para mi sitio web en ese momento, por lo que no pude investigar el problema de manera efectiva a través de los datos de los visitantes.

Entonces recordé que cuando configuré las medidas defensivas relevantes de Cloudflare antes, parecía haber visto los datos de la IP del visitante. Me apresuré a ver si podía encontrar alguna pista, y realmente encontré información útil, como se muestra a continuación.

![](https://res.lodenhu.com/media/media-cmjzyhfcz000001pa5iyq1ha7-1791889674764.webp)

¡El gráfico de monitoreo muestra que una IP en la imagen visitó más de 10K veces! Luego, al ver la descripción general de la IP del visor, se puede ver que hay dominios asociados con la IP, lo que significa que esta IP debería ser administrada por alguna institución.

Luego investigué el dominio `dataforseo.com` y descubrí que pertenece a una organización llamada DataforSEO, que es una organización comercial de SEO que tiene sus propios rastreadores para escanear datos de toda la web.

Hasta ahora, casi puedo concluir que son los rastreadores de esta organización los que me están "atacando". Pero no entiendo la razón. A través de la comunicación con la IA, descubrí que mi sitio web no tiene `robots.txt`... La IA cree: "Es posible que debido a la ausencia de `robots.txt`, combinado con el mecanismo de redirección de inicio de sesión de mi sitio web, la lógica del rastreador entró en un bucle infinito, lo que provocó esta situación..."

## Intentos y soluciones
Bueno, agregué `robots.txt` y actualicé el código. Pero varias horas después de hacer esto anoche, revisé la consola de GA y descubrí que los datos en tiempo real no se habían aliviado. No tuve más remedio que contactar proactivamente a DataforSEO en su sitio web para intentar resolver el problema.

El contenido de mi solicitud fue aproximadamente:

> "Descubrí que sus rastreadores están rastreando mi página de inicio de sesión con frecuencia. No sé cómo detenerlo. Por favor, compruébelo. Si confirma que hay un problema, espero que pueda resolverlo."

La respuesta de DataforSEO fue rápida. Me informaron por correo electrónico:
> "Nuestros rastreadores son beneficiosos. Si desea que no rastreen xxx, simplemente declárelo en robots.txt. Si no funciona después de agregarlo, puede intentar reenviar su sitio web en la página xxx para activar la actualización."

En resumen, parecía una respuesta muy común. Con la mentalidad de intentarlo, envié mi dominio en su página. Efectivamente, unas horas después, los datos mostrados en el panel de GA se aliviaron significativamente. Los visitantes en tiempo real cayeron de más de 4000 a menos de 1000, como se muestra en la figura inicial, en 30 minutos. Sin embargo, a través del monitoreo en tiempo real, se puede ver que a veces todavía puede haber más de 100 visitantes en 1 minuto. Esto probablemente aún no se ha resuelto por completo, pero al menos ya no son datos tan aterradores.

## Conclusión
Este incidente vale la pena registrarlo porque fue muy problemático. Las razones de la molestia son las siguientes:
1. El `robots.txt` del sitio web estaba incompleto. Según las especificaciones de SEO, es mejor no permitir que los rastreadores accedan a la página de inicio de sesión (esto es lo que dijo la IA).
2. La IP del rastreador de DataforSEO es demasiado humana... GA no puede distinguirla.
3. El rastreador de DataforSEO es demasiado malo y es fácil causar un bucle infinito...