Gerade wurden mehrere Kundenwebsites von uns von der neuen Suchmaschine CUILL besucht und haben mit 6! Robots gleichzeitig die Seiten durchforstet. Das crawling war so agressiv, dass es schon an eine DDOS Attacke erinnerte. Auf jeden Fall ging der Server dabei hopps. Eine Load von 12 war ihm einfach zu viel.

CUILL wird ganz interessant, denn dahinter stecken ehemalige Google Mitarbeiter, die sich mit ihrem Ex-Arbeitgeber nicht mehr identifizieren konnten (da wächst ein neues Microsoft heran). Im Moment kann der Index noch nicht durchsucht werden und wird nur fleissig aufgebaut. Wenn sie wirklich Konkurrenz für die großen Suchmaschinen sein wollen, müssen sie schon ein paar Milliarden Webseiten im Index haben und vor allem bessere Ergebnisse zeigen als Google. Das wird nicht leicht.