Responder a este mensaje

Podrías explicar en tu pagina o la lista, como has hecho para que no se 
puedan descargar el sitio entero. 
 
-----Mensaje original----- 
De: " Saulo Barajas -  Saulo.Net" <webmaster@saulo.net> 
Para: <consultas@usuarios.saulo.net> 
Fecha: 21/11/02 
Asunto: [SauloNet] 
Saulo.Net_y_los_agentes_automáticos_(capturadores_o_co 
 
Hola a todos, 
 
acabo de hacer un ajuste en la programación de Saulo.Net que impide 
que agentes automáticos como WebZip (http://www.spidersoft.com/webzip/) 
o Httrack (http://www.httrack.com/) puedan descargarse mi sitio web 
completo. 
 
El motivo ha sido que ayer sufrí un aparente ataque de denegación de 
servicio procedente de una dirección de Chile al descargarse, en apenas  
unos minutos, unas 10000 páginas de mi web. Evidentemente no tengo 
tantas páginas :)  pero el programa se lió con la estructura de links y 
trató de descargar hasta el infinito las mismas páginas. Por suerte, lo  
detecté a tiempo e impedí que la descarga masiva continuase. Los  
servicios no se interrumpieron aunque se desbordaron las estadísticas 
de acceso de www.saulo.net/stats/. Sorprendentemente el servidor web 
Apache y el servidor de base de datos MySQL aguantaron la "prueba  
de estrés". 
 
Estos programas (que permiten copiar a un disco duro local toda la  
estructura de un sitio web) generan un elevadísimo tráfico en los 
servidores 
y pueden llegar a colapsarlos, sobre todo cuando hay accesos a una base 
de datos. No se considera un uso lícito de los servicios web la 
utilización 
de estos programas.  
 
Para evitar futuros problemas, he incluido una comprobación al cargar 
cada página que detecta a los principales agentes automáticos y les  
remite a una página explicativa del bloqueo. Por lo tanto, lo máximo que 
se  
podrá descargar con estos programas será la página con la explicación de 
 
que el acceso ha sido bloqueado. 
 
La verdad es que considero innecesaria la utilización de estos programas 
en Saulo.Net debido a que los cursos se pueden descargar en un ZIP y 
cada 
artículo ocupa sólo una página (que se puede guardar fácilmente, al 
contrario 
que otros sitios que distribuyen un mismo artículo en varias páginas con 
el  
único objetivo de incrementar sus estadísticas). 
 
La lista de agentes bloqueados es pequeña aunque podrá aumentar en un 
futuro si fuese necesario. Al igual que agentes automáticos, también he 
considerado una lista negra de direcciones IP que, inicialmente, está 
vacía. 
Estas medidas, que no deberían notarse con un uso normal del web,  
considero que son necesarias para evitar utilizaciones abusivas o 
indebidas. 
 
Todos los comentarios u observaciones sobre estas medidas son 
bienvenidos. 
 
Un saludo, 
 
-- 
Saulo Barajas 
www.saulo.net 
 
 
____________________________ 
 
Usa esta lista para consultas o comentarios relacionados con Saulo.Net 
Información, bajas y altas en http://www.saulo.net/lista/ 
 
  
 
 
 
---Publicidad-------------------------------------------------------- 
Utiliza el PC más puntero! Las mejores ofertas en exclusiva 
en i (españa): http://www.iespana.es/_reloc/email.dell 
 
---Publicidad-------------------------------------------------------- 
Utiliza el PC más puntero! Las mejores ofertas en exclusiva 
en i (españa): http://www.iespana.es/_reloc/email.dell