Creo que hay que contar con estas cosas. Google será fagocitada por el sistema (si no la ha sido ya). Pero surgirán nuevos buscadores que tomarán el relevo y a su vez serán controlados de nuevo.

Es de destacar como google earth censura trozos de la superficie del globo terráqueo donde hay antenas destinadas a experimentos poco éticos(Alaska, etc.) u otros estratégicos por una razón u otra.

Si google quiere subsistir, debe seguir haciendo caso a su algoritmo matemático que pone en primer lugar a los sitios mas significativos (según dicho algoritmo) y a los de pago en una parte bien diferenciada.

Salu2

Tampoco es culpa de Google, Skipper. El "robots.txt" lo respetan (creo) todos los buscadores. Es un pacto entre buscadores y buscados. No sólo lo usa la Casa Blanca, lo usa un altísimo porcentaje de todas las webs del planeta.

Lo curioso es lo completito que es este robots.txt. Casi acaban antes explicando donde sí se puede buscar.

http://www.la-moncloa.es/robots.txt -> not found

ídem con pp.es y psoe.es

en esta última esperaba encontrarme:

Disallow: /contubernio/text

¡qué decepción!

A mi lo que me interesa saber es lo que hay en los firstlady/photoessay
XD

> A mi lo que me interesa saber es lo que hay en los
> firstlady/photoessay
> XD
Me parece que sólo contiene una foto, que puedes encontrar aquí:
http://tinyurl.com/aeoba

El robots.txt lo tienen millones de webs. No busquemos conspiraciones donde no las hay. Cada web oculta lo que considere oportuno y por el motivo que igualmente considere oportuno.

Estoy con Perico, el del anterior comentario.

El robots.txt es una reliquia de otra epoca de internet. Hoy día el webmaster que confie en que las arañas respetarán al robots.txt se merece lo que le pase !!

Porqué cojones aparece quinientas veces el directorio "/iraq"?