OVH Community, your new community space.

¿es normal esto de bing y Yahoo?


Jaridiano
02/07/2011, 21:45
Bueno, a ver tengo una web en la que el gestor de contenido tiene un plugin de seguridad que entre otras opciones tiene para DoS y crawlers, lo que hace es fijar un tiempo de observación para cada IP y luego ponemos la cantidad de veces que puede repetir la misma url o la cantidad de urls que puede rastrear en ese intervalo.

Tiene el defecto que las excepciones para esto son con el nombre de los user agents, y no por IPs, así que como hace tiempo vi que había IP de Rumanía y similares que se identificaban como Google bot, quité las excepciones y aumenté el límite. Fui siendo conservador y subiendolo cuando saltaba con algunos de los tres buscadores principales.

Que rollo :-) , sigo, pues desde hace una semana más o menos, no para de saltar el aviso con IPs de Yahoo y de Microsoft.

Lo tengo así:

Tiempo de observación 10 segundos
Limite para DoS 8 veces la misma url (a partir de la 7 salta)
Límite total de urls 21 (a partir de la 20 salta)
Hay dos opciones, una es pantalla en blanco y otra baneo, y tengo la de pantalla en blanco.

Pues ayer mismo saltó lo de DoS con yahoo, y hace un rato tengo un aviso de las 20:50 con una IP de Microsoft que ha rastreado más de 20 urls en esos 10 segundos. Las he comprobado y son verdaderas.

El caso es que voy subiendo el límite, pero ya me están hartando para las pocas visitas que llegan de estos dos y consumiendo recursos a lo bestia...