Crawl-Budget

Das Crawl-Budget beschreibt, wie viele Seiten einer Website der Googlebot innerhalb eines bestimmten Zeitraums abruft. Es ergibt sich aus der Crawl-Kapazität, die der Server verträgt, und dem Crawl-Bedarf, der von Aktualität und Beliebtheit der Inhalte abhängt. Für kleine Websites ist das Budget selten ein Engpass.

Relevant wird das Crawl-Budget laut Google erst bei sehr großen Websites: ab etwa einer Million URLs mit wöchentlich wechselnden Inhalten oder ab 10.000 URLs mit täglichen Änderungen, etwa bei Onlineshops mit vielen Filter- und Parameterseiten. Verschwendetes Budget durch Duplikate, endlose Parameter-URLs oder Soft-404-Seiten verhindert, dass wichtige Inhalte zeitnah gecrawlt werden. Optimierungen umfassen eine interne Verlinkung, die direkt auf die kanonischen URLs zeigt, gepflegte Sitemaps und das Sperren irrelevanter Bereiche.