Wenn der Robot zweimal klingelt: Von guten und bösen Bots im Onlineshop

bots, prudsys, prudsys RDE, Omnichannel, Handel, E-Commerce, Echtzeit, Personalisierung

Was ist ein Bot? Ein Bot, auch Roboter oder Webcrawler genannt, ist ein Computerprogramm, das eine Webseite besucht, um dort alle möglichen Daten herunterzuladen und zu analysieren. Dies mag auf den ersten Blick für viele User abschreckend klingen. Doch nicht alle Bots sind böse und wollen uns und unsere Webseiten nur ausspähen. Einige von Ihnen erweisen sich im Internet-Alltag als überaus nützlich und notwendig. Es gibt demnach auch eine Vielzahl guter Bots, die uns das Leben erleichtern. Das kann beispielsweise der „Googlebot“ sein, der eine Website indexiert, damit deren Bilder und Texte bei einer späteren Suchanfrage problemlos auffindbar sind.
Auch Preisvergleichsportale scannen Onlineshops, um die jeweiligen Preise für einen bestimmten Artikel zu ermitteln. Selbstgeschriebene Bots für den eigenen Onlineshop erweisen sich ebenfalls als nützlich, wenn man weiß, sie richtig einzusetzen. Bots sind demnach in der Lage, das Shopsystem zu überwachen, Probekäufe auszulösen und zu prüfen, ob zum Beispiel jede Artikeldetailseite verfügbar ist.

Neben den guten Bots, die den Betreibern von Onlineshops einen deutlichen Mehrwert bieten, gibt es auch eine Vielzahl ungewollter Besucher, die der eigenen Website enorm schaden können. Im schlimmsten Fall legen sie das gesamte System lahm oder verlangsamen es stark, wodurch immense Kosten entstehen. Der Zusammenhang zwischen Ladezeiten und Conversion Rate ist hinlänglich bekannt. Der Branchen-Riese Amazon kam in einer eigens durchgeführten Studie zu dem Ergebnis, dass jede Zehntelsekunde zusätzlicher Ladezeit zu einem Umsatzeinbruch von einem Prozent führt. Für E-Commerce-Größen wie Amazon hat dies jährlich Mehrkosten im dreistelligen Millionenbereich zur Folge.

Das Ziel eines jeden Onlineshop-Betreibers muss es daher sein, die guten Bots für sich zu nutzen und sich vor den Auswirkungen böser Bot-Aktivitäten zu schützen. Welche Probleme können böse Bots im eigenen Onlineshop hervorrufen?

 

Ein böser Bot…

  • verursacht mit jeder Anfrage Last auf dem System. In diesem Falle werden viele Anfragen innerhalb kürzester Zeit gestellt – viel mehr, als ein menschlicher Anwender in der gleichen Zeit tätigen könnte. Besuchen mehrere ungebetene Bots gleichzeitig den Onlineshop eines Händlers und womöglich zu Zeiten, in denen die Besucherfrequenz ohnehin schon hoch ist,  kann dies die Antwortzeiten deutlich negativ beeinflussen.
  • verfälscht die Statistik. Insofern böse Bots nicht erkannt und aus der Statistik herausgefiltert werden, können beispielsweise keine verlässlichen Aussagen über Unique User, Page Impressions oder Absprungraten im Shop getroffen werden.
  • kann unter Umständen die Regelbasis von Recommendation Engines manipulieren. Böse Bots „klicken“ nur stupide jede Einzelseite im Onlineshop an. Dieses Verhalten ist nicht natürlich und sollte somit auch nicht in die Regelberechnung einfließen. Die geklickten Produkte haben aus Sicht eines normalen Anwenders in der Regel keinerlei Bezug zueinander.

Um den schädlichen Einfluss eines Bots auf die Geschwindigkeit des Onlineshops und statistische Daten zu verhindern, ist es ungemein wichtig, diesen frühzeitig zu erkennen und zu markieren.

Was kann man gegen böse Bots tun und wie kann man sie erkennen?

  • Die gutmütigen Bots wie z.B. der Googlebot oder der Bingbot geben sich direkt als solche zu erkennen und können vom Shopbetreiber nach seinen Wünschen behandelt werden. Diese können ganz einfach in der robots.txt gesteuert werden.
  • Bots, die sich nicht direkt als solche zu erkennen geben und die sogar die robots.txt ignorieren, können mit speziellen Tools ermittelt werden. Diese Tools sind beispielsweise in der Lage, das Klickverhalten einer Session aber auch historische Daten auszuwerten. Wenn ein Anwender innerhalb weniger Sekunden mehrere hundert Klicks verursacht, deutet dies auf einen Bot hin.
  • Betreiber von Onlineshops, die ihre Kunden in den Genuss von personalisierten Produktempfehlungen kommen lassen wollen, sollten sich im Klaren darüber sein, dass es leider nicht ganz trivial ist, einen Bot überhaupt als solchen zu identifizieren. Die guten von den bösen Bots zu unterscheiden, ist sogar noch schwieriger. Es geht aber kein Weg daran vorbei, sich die Mühe zu machen, denn der Schaden, den ungebetene Bots anrichten können, ist wie gesagt enorm. Wir empfehlen daher den Einsatz einer erprobten Recommendation Engine anstelle einer Eigenlösung. Die prudsys RDE | Recommendations ist bereits seit Jahren europaweit erfolgreich in den Onlineshops der größten eCommerce-Händler im Einsatz. Die prudsys RDE ist in der Lage, ungewollte Bot-Requests zu identifizieren und deren schädlichen Einfluss auf die Regelbasis der Maschine zu vermeiden.

Bots sind nützliche kleine Helfer, wenn man sie richtig einsetzt. Allerdings sollte man unbedingt zwischen guten und bösen Bots unterscheiden. Das ist nicht immer ganz einfach, doch es lohnt sich. Dreht man an den richtigen Stellschrauben, so kann man böse Bots ausschließen oder zumindest die negativen Auswirkungen ihres Verhaltens im Onlineshop vermeiden. Frei nach dem Motto: Die Guten ins Töpfchen, die Schlechten ins Kröpfchen.

Gastautor: Markus Schmitt | prudsys AG

 

Weiterführender Beitrag:

Mit Fingerspitzengefühl zum Erfolg – Drei Tipps für die optimale Webshop-Integration einer Recommendation Engine

0 Kommentare

Dein Kommentar

Want to join the discussion?
Feel free to contribute!

Schreib einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *