Bueno como pudimos notar el post pasado no fue de mucho agrado para ustedes así que espero que este si lo sea ya que es algo que debemos conocer ya sea para marketing o para un pentesting.
El archivo robots.txt es un archivo clave a la hora de tener un buen posicionamiento en el navegador, el uso de este archivo hará que nuestro buscador indexe nuestra pagina más fácil mente en la búsqueda como también evitara indexar ciertas palabras como por ejemplo el panel de administrador, cuentas o paginas que usted no quisiera que viera cualquiera desde el navegador.
El archivo robots se crea utilizando dos comandos.User-Agent: (Spider Name)Disallow: (Ruta)
El Spider Name, es el nombre del robot buscador. Si se quiere indicar que las prohibiciones afecten a todos los buscadores, se ha de poner “*” en vez del nombre del buscador.
La Ruta, es el nombre del archivo o carpeta que no se quiere indexar. Para prohibir la indexacion a todos los documentos de un directorio, en la ruta que se ha de incluir el carácter “/” al final del nombre del directorio. Es decir, el formato será:Disallow: /directorio/
Ejemplos:Disallow: / prohibe la entrada a todo el alojamiento.Disallow: /foro/ prohibe la entrada al directorio foro.Disallow: permite la entrada a todo el alojamiento.
Funciones del robots.txt
- Evitar que ciertos robots accedan e indexen tu web (o zonas de la web). También puede bloquear las herramientas de análisis para que no te vea la competencia.
- Evitar sobrecargas del servidor, para que no saturen una web por peticiones.
- Controlar el contenido duplicado de tu web, puedes cerrar el acceso a Google para evitar el contenido duplicado. Esto es una opción para evitar contenido duplicado pero no es la más efectiva.
Herramientas para crear el robots.txt
Como he mencionado anteriormente puedes abrir un fichero de texto y escribir las restricciones que deseas para el robots.txt. Pero para los más noobs o los que tengan síntomas de perritis aguda pueden utilizar una herramienta online de Seo Book Con esta herramienta puedes definir y seleccionas diferentes opciones según la necesidad de cada webmaster en la web.
El robots.txt es un elemento muy recomendable que complementa al sitemap.xml, pero
Como he mencionado anteriormente puedes abrir un fichero de texto y escribir las restricciones que deseas para el robots.txt. Pero para los más noobs o los que tengan síntomas de perritis aguda pueden utilizar una herramienta online de Seo Book Con esta herramienta puedes definir y seleccionas diferentes opciones según la necesidad de cada webmaster en la web.
El robots.txt es un elemento muy recomendable que complementa al sitemap.xml, pero
1xBet korean - Legalbet
ResponderEliminar1xBet korean, legalbet, soccer bet, kadangpintar london, bet9ja. Betway · 1xbet korean, 1xbet sport · 1xbet 샌즈카지노 korean, sport · 1xbet korean, sport · 1xbet korean, sport.