GPTBot

GPTBot ist der offizielle Webcrawler von OpenAI. Er durchsucht öffentlich zugängliche Websites und sammelt Inhalte, die zur Weiterentwicklung und zum Training der GPT-Modelle genutzt werden können. GPTBot identifiziert sich über eine eindeutige Kennung im User-Agent, sodass Website-Betreiber seinen Zugriff erkennen und steuern können.

Betreiber können den Zugriff von GPTBot über die robots.txt erlauben oder gezielt sperren. Eine Sperrung schließt Inhalte vom Training aus, beeinflusst die Darstellung in der ChatGPT-Suche aber nicht, denn dafür ist ein eigener Crawler zuständig. Neben GPTBot betreibt OpenAI weitere Crawler wie OAI-SearchBot für die Suchfunktion und ChatGPT-User für nutzerausgelöste Abrufe, bei denen robots.txt-Regeln laut OpenAI nicht zwingend greifen.

Im Kontext von GEO ist die Entscheidung über den Crawler-Zugriff strategisch. Wer in KI-Antworten als Quelle erscheinen will, sollte den für die Suche zuständigen Bots den Zugriff erlauben. Das Sperren reiner Trainings-Crawler ist davon zu trennen. Eine bewusste, dokumentierte robots.txt-Konfiguration ist daher Teil jeder GEO-Strategie.