Matt Cutts na oficjalnym blogu Google dla webmasterów przedstawił sposób weryfikowania, czy crawler przedstawiający się jako Googlebot jest nim w rzeczywistości. Spamerzy, by uniknąć blokowania swoich robotów, potrafią podszywać się pod Googlebota. Metoda jest dość oczywista i zapewne przez wielu webmasterów była stosowana, jednak warto o niej teraz wspomnieć, gdyż została opublikowana na blogu Google jako oficjalna metoda walidacji Googlebota.

Pierwszym etapem weryfikacji będzie wykonanie odwrotnej translacji DNS dla adresu IP, z którego łączy się podejrzany spider. Należy sprawdzić, czy otrzymana nazwa hosta znajduje się w domenie googlebot.com. Nie jest to jednak wystarczające, gdyż podszywający się mogą tak skonfigurować odwrotny DNS, by zwrócił wynik w postaci crawl-A-B-C-D.googlebot.com. Dlatego też konieczne będzie wykonanie zapytania DNS dla otrzymanego hosta i sprawdzenie, czy otrzymany w jej wyniku adres IP jest identyczny z tym, z którego łączy się weryfikowany crawler.

Więcej na oficjalnym blogu Google.