Mrz 29 2008

[lang_de]Spinnt der Google-Bot jetzt?[/lang_de][lang_en]What does the google bot do?[/lang_en]

Veröffentlicht by . Filed under: The World Wide Web

[lang_de]Seit gestern scheint ein Google-Bot kräftig zu spinnen. Der Bot hinter der IP 66.249.67.129 versucht seit zwei Tagen ständig auf den Strohhalm zuzugreifen und versucht dabei alle möglichen IDs für Unterforen aus. Da die nicht existieren, bekommt der Bot natürlich nichts passendes angezeigt. Versuchen wohl derzeit einen speziellen Forencrawler aus. Kann das jemand bestätigen?

[Update]
Inzwischen sind es nicht nur Unterforen, sondern es waren auch einige Threads dabei.

[/lang_de]

[lang_en]Since yesterday, a google bot is doing stupid things. The bot with IP 66.249.67.129 tries to load every possible id for subforums at my forum Strohhalm.org. Of course, not every id has a subforum, so the google bot will get no result. I think, they are trying a specialized crawler for forums. Can anyone whatch this behaviour too?

[Update]
Until now, the crawler has not only tried to load subforums but also threads with random ids.[/lang_en]

2 responses so far

1 Star2 Stars3 Stars4 Stars5 Stars
Loading ... Loading ...
^

2 responses so far

  1. # MaMoon 29 Mrz 2008 at 1:28 pm

    Ist das denn wirklich ein Crawler von Google oder nur einer der vorgibt von Google zu sein? Ist eine komische Logik, einfach diverse IDs auszuprobieren, zumal jede Software andere Queries erzeugt und dann ja eine Anpassung für alle Foren vorgenommen werden müsste (bei Google).

  2. # Mathias Bankon 29 Mrz 2008 at 5:47 pm

    Ja, ich bin mir ziemlich sicher, tracert google.de liefert ähnliche IP-Adressen wie tracert 66.249.67.129.

    Im weiteren finde ich das gar nicht so abwegig, einen Crawler derart zu schreiben, dass nur IDs ausprobiert werden. So etwas ähnliches mache ich gerade in meiner Doktor-Arbeit (auch auf Foren, deshalb bin ich schnell hellhörig geworden). Der Vorteil besteht darin, dass der Crawler keine Übersichtsseiten oder ähnliches lädt, sondern sich voll und ganz auf die interessanten Inhalte konzentrieren kann. Ergo ist das Laden effektiver und die Ergebnisse besser.

    Eine Anpassung an Foren speziell ist übrigens nicht notwendig, die Struktur ist in den meisten Forensystemen recht einfach ermittelbar.

Trackback URI | Comments RSS

Hinterlasse eine Antwort