OmniExplorer_Bot

OmniExplorer_Bot [17-10 13:34] por WALTERJJ [arg]
Acabo de bloquear las IPs del crawler de omni-explorer.... despues de dos semanas de bombardeo...
No le dieron bola al robots.txt , ni al disallow: / ni tampoco al crawl-delay
les escribí ... y si bien me contestaron, me dijeron que le pasaban el caso a los ingenieros , y que mientras lo resolvían agregaban mis IPs al no-crawl list ...pero me siguieron tirando con todo...
Alguien tuvo experiencia con esta gente? me da no se qué bloquear un crawler ( aunque éste no es de ningun buscador) , pero no encuentro otra salida que bloqueralos...incluso sospecho que el impacto que tuvieron en la perfomance de mi server las dos ;ultimas semanas pudo ser la causa de que Google me bajara el posicionamiento ayer.-
Saludos,
Walter

666 [17-10 14:51] por LUIGIKIKE [arg]
banealos, no sirven para nada.
saludos,

google [17-10 17:56] por MICROMEDIA ARGENTINA [arg]
a vos tambien ayer ???? a mi ayer tipo 20 aprox me hizo bolsa , pero maal mal. Rarisimo, alguna idea , o pista ?? ( ademas de lo que decis, pero ayer puntualmente me tiro muy atras casi todas las busquedas, incluso busquedas muuuy faciles )
matias

no..ninguna otra idea... [17-10 19:23] por WALTERJJ [arg]
la otra vez que me pasó tambien fue despues de unos cuantos días de bombardeo de este crawler y otros ...yo me creí muy vivo por contestar un server too busy cuando la carga se volvía intolerable...y creo que aquella vez le contesté demasiados server busy al crawler de Google y éso me valió 2 meses de penurias....
Despues de éso mejoré mucho el desempeño del server y el sistema.. minimicé mucho las llamadas al SQL , y por supuesto saqué lo del server busy ...
No sólo conservo el número de páginas indexadas y de BLs sino que más bien aumentaron un poco ..lo mismo que las indexadas a full con caché..éso no se vió afectado esta vez..sólo que me manda menos visitas...
Yo creo que Google, que no desperdicia ninguna información que está a su alcance, mide el tiempo de respuesta de los sitios cuando crawlea, y ajusta el posicionamiento para mandarte un número de visitas acorde... despues de todo la info la tienen en el momento del crawl y almacenar el tiempo de respuesta asociado a un URL no les cuesta nada... sería muy raro que esa medición no participe en los algoritmos de posicionamiento... .-
No sí si alguno de ustedes lo notó , pero a veces la curva de tráfico del día parece aplanarse en los horarios picos..pero la meseta es plana en el numero de visitas y no en el numero de page views..lo cual indicaría que NO es una saturación directa de perfomance del server sino un especie de cota a las visitas que manda Google...la meseta a veces se convierte en una rampa ascendente o descendente bastante lineal..como un plano inclinado...yo creo que es un límite al tráfico a un sitio que Google ajusta.-