Das erinnert mich daran, dass ToSCA endlich auch die Inhalte der robots.txt beachten sollte… ;-)

• Neu: Vor dem Herunterladen des Contents von einer URL wird nun geprüft, ob es sich überhaupt um eine HTML-Datei handelt. Nur dann wird der Inhalt geladen und nach neuen Links geparst. Dafür wird ein eigener “HEAD”-Request an den Zielserver gestellt. Das bringt zwar für jede einzelne URL ein paar Bytes zusätzlichen Traffic, erspart aber möglicherweise das Herunterladen einer 10 MB großen PDF-Datei. Und dafür kann man schon einige Head-Requests senden… ;-)
• Fixed: Bug #1, “Pear::Net_URL2 wird auf Linux nicht gefunden”

Auf jeden Fall kann ich Eclipse allen empfehlen, die PHP programmieren möchten, aber auf OpenSource setzen wollen.

Version 0.01 (Download zip)

• Startet bei einer vorgegebenen URL (muss momentan noch händisch in die DB eingetragen werden)
• Von dort aus werden Links abgegrast (vorerst mal nur <a href=”…”>)
• Wandelt relative in absolute URLs um
• Merkt sich, welche URLs schon besucht wurden, um Redundanzen zu verindern
• Parst die Seite nach dem robots-Metatag und beachtet nofollow und noindex
• Nach 10 gecrawlten Seiten bricht der Prozess ab

Voraussetzung: PHP 5 (allow_url_fopen = on), MySQL

Folgende PEAR-Pakete werden von ToSCA derzeit benötigt:

• HTTP_Request
• Log
• MDB2 (mit dem MySQL-Treiber)
• Net_URL2

Vorsicht: Der Crawler ist noch nicht das, was man unter “wohlerzogen” verstehen würde. Weder beachtet er das, was in einer allfällig vorhandenen robots.txt steht, noch nimmt er darauf Rücksicht, dass eine Domain nicht zu oft innerhalb kurzer Zeit besucht wird. Daher möchte ich momentan noch um einen sehr vorsichtigen und behutsamen Umgang mit dem Crawler bitten. Dass der Vorgang nach 10 gecrawlten URLs automatisch beendet wird, kommt nicht von ungefähr…

Auch wenn die Files momentan noch ohne besondere Erklärung zum Downloaden sind, würde ich mich schon jetzt über ein paar Reaktionen von euch freuen!

LG, Estigy.

Dieses Projekt in JAVA anzugehen, war eine großartige Idee aus damaliger Sicht. Ich kündige aber hiermit an — zumindest momentan –, dass ich die Sache nochmals angehen möchte, allerdings unter Verwendung von PHP. Es hat einige Zeit gebraucht, um zu erkennen, welchen großen Einfluss die Wahl der Programmiersprache auf meine Art, Dinge zu begreifen und zu verstehen, gehabt hat. Doch nun bin ich an einem Punkt angelangt, an dem ich die Dinge etwas klarer erkennen kann.

Mir ist natürlich klar, dass PHP nicht die Sprache ist, in der man einen Web Crawler schreiben sollte. Doch für den Moment ermöglicht sie es mir, die ersten Ziele schneller — wesentlich schneller — zu erreichen. So, wie es in einer Fremdsprache wesentlich schwerer ist, ein Buch zu schreiben, als in der Muttersprache, so bildetet die Wahl von JAVA eine gewisse Barriere für mich, was das kreative Denken betrifft. Wenn ich mir den bisherigen Code so ansehe, hätte es mich nur ein paar Stunden gekostet, das selbe in PHP zu schreiben — samt MySQL-Anbindung und einem kleinen User-Interface.

Nun, für alle von euch, die meinen Blog vor einigen Monaten entdeckt haben und noch immer an der Sache interessiert sind, bleibt dabei für die in PHP umgeschriebenen Klassen.

Bitte versteht mich nicht falsch: Der Wechsel zurück zu JAVA steht noch immer auf meiner Wunschliste. Vielleicht werde ich dieses Bild nochmal mit meiner linken Hand neu malen. Aber lasst mich die Entwürfe einstweilen mit meiner rechten machen… ;-)

Thanks,
Estigy.

Angefangen habe ich etwa so:

Ziemlich süß, nicht wahr?
Tatsächlich. Eine Kleinigkeit gibt es aber daran auszusetzen:

WebPage.java:17: cannot inherit from final java.net.URL

Ich wollte meinen Augen nicht trauen: Warum zur Hölle ist URL final?!?
Vielleicht, weil sich die Leute von Sun tatsächlich nichts vorstellen können, was man mit URLs machen wollen könnte?
Oder meinen sie, dass es dieser Implementation nichts mehr hinzuzufügen gibt?

Mir gehen die Ideen aus. Hat jemand anderes hier mehr Einblick?

Ich verwende iG:SyntaxHiliter, das ich auch allen anderen empfehlen kann, die einen Blog betreiben wollen (oder schon betreiben) und Code-Schnippsel entsprechend herzeigen wollen. Es kann eine ganze Reihe von Sprachen richtig einfärbeln und verwendet GeSHI.

Nun freue ich mich schon darauf, euch Einblicke in den Code geben zu können, den ich so produzieren werde.

• Plattform-Unabhängigkeit -- ToSCA soll auf einem Unix-Server ebenso laufen wie auf Windows-Maschinen. Zwar ist C++ auch unabhänig, aber das trifft nur auf der Kern der Sprache zu. Da wir für ToSCA einige Spazialdinge wie Datenbank-Verbindung oder etwas Netzwerk-Action benötigen, ist es in C++ etwas umständlich bis mühsam, plattformunabhängig zu bleiben. Daher nahm ich JAVA: Das java.net Package übernimmt die Netzwerk-Sektion, java.sql liefert den Datenbankzugriff. Das reicht für mich vorerst.
• Das java.net.URL Objekt -- Dieses Objekt ist echt genial! Mich hätt's fast vom Sessel geworfen, als ich gesehen habe, was dieses kleine Objekt alles kann. Natürlich bringt das auch etwas Overhead mit sich, aber wenn ich an die Stunden denke, die es mich kosten würde, das alles selbst zu programmieren, bin ich ziemlich froh.
• Die Sprache selbst -- Durch JAVA möchte ich so richtig in die objektorientierte Programmierung einsteigen. Ich hatte ein Jahr JAVA während meines Studiums, aber das ist schon ein Zeiterl her. (Um ehrlich zu sein: Die Dinge, die ich bis jetzt habe, in PHP zu bauen, würde mich knappe 1,5 Stunden kosten -- aber das ist eine andere Geschichte...)
• Performance -- Obwohl C++ sicherlich schneller in der Ausführung sein würde, ist Performance aus meiner Sicht nicht so eine große Sache: Nachdem ein einziger Server durch eine längere Antwortzeit eine gehörige Verzögerung für den gesamten Prozess bedeutet, würden einige gewonnene Millisekunden am Ende sowieso nicht groß auffallen.

Also habe ich diesen WordPress Blog aufgesetzt für alle, die mich und meine Gedanken in diesem Projekt begleiten wollen.

Ich freue mich über jegliche Kommentare, aber wie die Kollegen von 37signals in ihrem Blog Signal vs. Noise so schön sagen:

Please, Let's add value!