Cómo ocultar contenido a Google y otros motores de búsqueda
Hablamos del contenido de calidad que sirve para mejorar el posicionamiento de un sitio web, también tratamos el tema de los problemas que podemos tener con los motores de búsqueda si llenamos un sitio con texto oculto o muchos links inútiles.
Y dijimos que para que el motor de búsqueda nos encuentre, también el webmaster tiene que tener una comunicación fluida con el buscador y estar atento a los spiders o robots buscadores, que son los programas que escudriñan la web actualizando los sitios existentes y agregando los sitios nuevos a los rankings que dan como resultados a los usuarios.
Pero si estamos probando nuevos contenidos o aplicaciones, o simplemente queremos mantener archivos en el sitio que permanezcan ocultos a los resultados de los motores de búsqueda también podemos hacerlo.
Ocultar contenido con una contraseña
Para que el contenido de un sitio permanezca oculto a los resultados de la búsqueda, se puede generar un directorio protegido por contraseña, que prohibirá a los spiders acceder a este. Esta forma de proteger el contenido es simple de realizar y efectiva.
Los archivos robots.txt
Se pueden utilizar los archivos robots.txt para avisar al spider qué contenido debe ser protegido o no expuesto. Este sistema es similar al anterior pero requiere tener conocimientos para escribir el archivo de forma correcta, si se logra, se le estará mostrando al robot buscador un cartel de NO PASAR.
Si no se ha escrito bien la cadena en el archivo robots.txt o existen diferentes rutas que llevan a este contenido que queremos proteger, y no se incluyeron en el archivo, entonces el spider las encontrará y las pondrá en los resultados.
Noindex meta tags
Utilizar los noindex meta tags es efectivo para bajar totalmente un sitio de los resultados del buscador, sin importar hay sitios linkeados a éste. Pero este aviso será encontrado por el buscador cuando le toque el turno según el algoritmo de búsqueda, por lo que hasta que esto suceda continuará apareciendo a menos que el webmaster utilice la herramienta Remove URLs para Google.
En conclusión
Entonces, para evitar que parte del contenido de un sitio forme parte de los resultados de búsqueda será necesario protegerlos mediante un password, si nos interesa que la página o el contenido tenga acceso de algunos links y otros no, podemos avisar al buscador utilizando los archivos robots.txt y si queremos dar de baja totalmente el sitio o su contenido, podremos incorporar los meta tags noindex.
De cualquier modo, para realizar este tipo de acciones sería importante contar con el apoyo de webmasters profesionales que sepan utilizar bien las cadenas de comando a implementar, de lo contrario podríamos perder mucho tiempo intentando modificar el acceso al contenido y perder tanto posicionamiento en el buscador como usuarios adeptos.
Imagen vía: Gettyimages por Robin Jareaux