GEPTIMIZER
Kom i gang

robots.txt

Blokerer robots.txt AI-crawlere?

Ja. En robots.txt kan spærre AI-crawlere ude, og en firewall kan gøre det, selvom filen ser åben ud. Geoptimizer tester adgangen bot for bot, fordi robots.txt alene ikke afslører Cloudflare-blokeringer og navngivne grupper, der overskriver stjernen. I skal tillade de bots, I vil citeres af.

Kør det gratis GEO-tjekAlle vidensider

01 — Fælden

Når en navngiven gruppe vinder

En navngiven gruppe for en enkelt AI-bot overskriver den generelle stjerne. Har I kopieret en skabelon, der Disallow’er AI “for en sikkerheds skyld”, er I usynlige med vilje. Har I kun åbnet stjernen, kan en ældre regel længere nede stadig spærre.

Vi parser filen med samme regler, som vi sælger til kunder, og vi henter også siden. De to ting kan sige hinanden imod, og så er det svaret ved døren, der tæller, ikke skabelonen.

02 — Valget

Hvad I skal beslutte

I skal vælge, om trænings-bots og søge-bots må ind. Det er en forretningsbeslutning, ikke et default-hak i et plugin. Geoptimizer viser, hvad der faktisk er tilladt, og hvad der bliver afvist ved døren.

Vi blokerer selv admin, konto og API. Vi åbner de sider, der må citeres. Det er den opdeling, en sund fil har.

03 — FAQ

Ofte stillede
spørgsmål

Hvert svar starter med det direkte svar, og detaljerne følger efter.

I skal tillade dem, I vil findes af i svar. Træning er et andet valg. Bland ikke de to i én sætning på siden, og lad ikke en skabelon træffe det for jer.

Nej. Dine kunder bruger ikke kun én tjeneste. En fil, der kun nævner én bot, er en delmængde. Tjekket kalder den fulde liste, vi dækker.

Fordi nye zoner siden 1. juli 2025 har blokeret AI-crawlere som standard. Filen kan se åben ud, mens kanten smider robotten. Vi tester svaret, ikke kun teksten.

Vi viser, hvad der er galt. Rettelsen er jeres, jeres udviklers, eller fix-pakken. En forkert rettet fil kan åbne admin. Den skal ikke ændres i blinde.

04 — Videre

Relaterede
spørgsmål