IP-Cloaking

von Fries Websolutions

Es ist eigentlich keine ordentliche Art und Weise, um sich bei den großen Volltext-Suchmaschinen, wie zum Beispiel,Altavista, Inktomi oder Fast, ein Topranking zu verschaffen. Doch hier wollen wir die Methode aus technischer Sicht betrachten, um uns auch gegen aggressive Taktiken der Spiderhunter schützen zu können.

Wie Volltextsucher arbeiten, ist uns bekannt, sie bringen Wörter oder Phrasen, in bestimmten HTML-Tags unter, die werden mit diesen in Verbindung gebracht und teilen nun der Suchsoftware mit, wie relevant eine Seite für den entsprechenden Suchbegriff ist. Das hört sich einfach an, aber für den Seitenbetreiber ist es ein echtes Ärgernis, denn er muss seine Webseite praktisch nur noch für die Suchmaschinen gestalten und das oft genug an den Wünschen des eigentlichen Besuchers vorbei.

Die eigentliche Lösung ist nicht wirklich revolutionär, man nennt sie sich schlicht Browserweiche und diese Lösungen gibt es zum Beispiel von SSI oder PHP. Der Quellcode ist oft nur ein 10 Zeilen Code. Warum die einfachen Browserweichen nicht wie gewünscht funktionieren, dass liegt an dem Interesse des Suchmaschinenbetreibers, um ihm einem sauberen Index zu erklären, dabei werden einfache Browserweichen doch zuverlässig erkannt.

Das funktioniert normalerweise so: die einfachen Browserweichen fragen den so genannten „User Agent" des Besuchers ab und trennen so die echten Besucher, von den Suchmaschinen-Robots. Wenn eine Seite der Suchsoftware verdächtiger erscheint, weil sie vielleicht zu wenig relevante bestimmte Schlüsselwörterbesitzt, dann schickt sie einen zweiten Crawler. Der ist als normaler Browser getarnt und so wird er hinter der Browserweiche nicht erkannt. Normalerweise führt die Erkennung einer Browserweiche zum kompletten Ausschluss aus dem Index, oder zu einer beträchtlichen Abwertung, also wird die Sache schon wasserdicht sein.

Der User Agent ist allein einfach zu umgehen, aber um eine wirklich sichere Browserweiche zu erstellen, müssen weitere Informationen über den Besucher erstellt werden. Jetzt wird es wirklich tricky, denn erfahrene Profis finden fast alle auffindbaren Informationen, um sie dann von einem neuronalen Netzwerk überprüfen zu lassen. Neuronale Netze sind ein Lösungsansatz im Datamining, damit man intelligente Datenanalyseverfahren durchführen kann..

Zuerst wird die IP-Adresse des Besuchers mit den IP-Adressen aus der Datenbank verglichen, auf der befinden sich hunderte, vielleicht auch tausende von gespeicherten Suchmaschinen-IP´s. Die Listenisten können wir uns kostenlos im Netz ansehen, oder in professioneller Qualität bei doch einschlägigen Firmen kaufen. Hier wird die IP in einen Domainnamen umgewandelt und der wird auf Namen oder Zeichenketten, die von Crawlern benutzt wird, dann untersucht und in einer entsprechender Art und Weise dem neuronalen Netzwerk wieder zugänglich gemacht.

Dabei sind die Möglichkeiten um dieses Spielchen bis zur Perfektion weiterzumachen, eigentlich grenzenlos.Die richtigen Profis benutzen auch noch Tracerroutes, damit können sie zurück verfolgen, über welche Server im Netz der Abruf der Seite weitergeleitet wurde und sie unterziehen dann diese Server der gleichen Prüfung.

Auf viele dieser Informationen die auf einer Suchmaschine deuten, da reagiert das neuronale Netzwerk und ist die Datenbank immer gut gepflegt, dann sollte diese Möglichkeit fast unknackbar sein.

Hier noch eine Sache zum Schluss, versuchen sie es bitte nicht, so ein Modell selber ins Netz zu stellen, weil der Arbeitsaufwand ist sehr umfangreich und es verlangt ein Höchstmaß an Pflege. Sie würden auch damit die Nutzungsbedingungen der Suchmaschinen verletzten und sie können rechtlich belangt werden.