AI-crawler Access Checker
Klistra in en publik URL. Se vilka AI- och sökmotorcrawlers som tillåts, vad sidans robots-taggar säger, om /llms.txt finns, och kopiera fix-snippets. Fakta från officiella källor.
Varför kolla AI-crawler-access?
Träningsbottar och sökbottar har olika robots.txt-token. Fel Disallow kan gömma dig från ChatGPT-sök men fortfarande tillåta träning — eller tvärtom.
Bing ai-grounding (verifierad 30 okt 2026)
Enligt Bings blogg är grounding endast på sidnivå via meta/X-Robots-Tag. Träning kan sättas i robots.txt med User-Agent: __usage_ai-training.
Kör kontrollen
FAQ
Vad testar verktyget?
Det hämtar robots.txt, sidans meta/X-Robots-Tag och /llms.txt, och utvärderar allow/disallow per bot med longest-match.
Vilka bottar ingår?
GPTBot, OAI-SearchBot, ChatGPT-User, Claude*, Perplexity*, Google-Extended, Googlebot, Bingbot, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent, Amazonbot.
Vad är Bing ai-grounding?
En sidnivå-preferens (meta/X-Robots-Tag), inte robots.txt. Syntax: ai-grounding:disallow eller ai-grounding:disallowextended (Bing 30 okt 2026).
Kan jag testa localhost?
Nej. Privata IP:n, loopback och metadata blockeras (SSRF-skydd).