robots

robots hace que meeko build escriba robots.txt con las reglas para User-agent: *: sus allow y disallow (Allow: / sin ninguna) y, si sitemap está activo, la línea Sitemap: con su URL absoluta. Vale para todos los adaptadores: en Node, Bun, Deno y Workers se sirve como un archivo público más, con ETag.

Uso#

// meeko.config.ts
import { defineMeekoConfig } from "@meekojs/meeko/framework";

export default defineMeekoConfig({
  site: "https://example.com",
  sitemap: true,
  robots: { disallow: ["/admin/"] }, // o robots: true
});

Tipo#

readonly robots?: boolean | RobotsConfig

interface RobotsConfig {
	readonly allow?: readonly string[]
	readonly disallow?: readonly string[]
}

Opciones#

Cada entrada empieza por /, sin espacios, ? ni #. robots: true equivale a {}.

Resultado#

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml

Con robots: true y sin sitemap:

User-agent: *
Allow: /

Ejemplos#

Un entorno de pruebas que no se indexa#

import { defineMeekoConfig } from "@meekojs/meeko/framework";

const staging = process.env.DEPLOY_ENV === "staging";
export default defineMeekoConfig({
  robots: staging ? { disallow: ["/"] } : true,
});

Permitir una carpeta dentro de otra prohibida#

import { defineMeekoConfig } from "@meekojs/meeko/framework";

export default defineMeekoConfig({ robots: { disallow: ["/cuenta/"], allow: ["/cuenta/ayuda/"] } });

Errores comunes#

Un campo mal escrito#

export default defineMeekoConfig({ robots: { disalow: ["/admin/"] } as never });

meeko dev, meeko build, meeko check y meeko routes se detienen con …/meeko.config.ts: robots: campo desconocido disalow.

import { defineMeekoConfig } from "@meekojs/meeko/framework";
export default defineMeekoConfig({ robots: { disallow: ["/admin/"] } });

Una ruta sin / inicial#

export default defineMeekoConfig({ robots: { disallow: ["admin"] } });

…/meeko.config.ts: robots.disallow debe ser un array de cadenas no vacías que empiecen por /.

import { defineMeekoConfig } from "@meekojs/meeko/framework";
export default defineMeekoConfig({ robots: { disallow: ["/admin"] } });

Un public/robots.txt#

public/robots.txt   y   robots: true

meeko build se detiene con El archivo público robots.txt (de public/ o de un módulo) choca con el que genera la opción robots de meeko.config.ts; quita uno de los dos.

Borre public/robots.txt y declare sus reglas en robots

Notas#

• No es seguridad. Disallow es una petición a los rastreadores, no una protección: proteja /admin con sesión y middleware de servidor.
• Origen. robots sin sitemap no necesita site.
• Páginas concretas. Para que una página no se indexe, use <meta name="robots" content="noindex"> con useSeoMeta; si es prerenderizada, además sale del sitemap.

Relacionado#

• sitemapEscribe sitemap.xml en el build con las páginas prerenderizadas, las rutas sin parámetros y, desde 1.7, las URL de sitemapEntries de las rutas dinámicas.
• siteLa URL pública del sitio, de la que sólo cuenta el origen, para las URL absolutas de sitemap.xml, robots.txt y document.seo.
• sitemap.xml y robots.txtMeeko como framework full-stack