Comments for Building a webcrawler http://www.building-a-webcrawler.net ToSCA, die Entwicklung eines Spiders Fri, 21 Nov 2008 18:29:25 +0000 http://wordpress.org/?v=2.1 Comment on robots.txt analysiert by Frank http://www.building-a-webcrawler.net/2007/09/robotstxt-analysiert.html#comment-355 Frank Fri, 07 Nov 2008 20:59:12 +0000 http://www.building-a-webcrawler.net/2007/09/robotstxt-analysiert.html#comment-355 Hallo, ist das Projekt eigentlich tot? Bin durch Zufall auf die Seite gestoßen und finde es sehr interessant. Schade das seit rund einem Jahr nichts mehr geschrieben wurde ... Hallo,

ist das Projekt eigentlich tot? Bin durch Zufall auf die Seite gestoßen und finde es sehr interessant. Schade das seit rund einem Jahr nichts mehr geschrieben wurde …

]]> Comment on Version 0.02 by 4yw http://www.building-a-webcrawler.net/2007/09/version-002.html#comment-341 4yw Wed, 09 Jul 2008 07:40:41 +0000 http://www.building-a-webcrawler.net/2007/09/version-002.html#comment-341 Das Ganze sieht ziemlich interessant aus. Ich werde auf jeden Fall dran bleiben. Mal sehen, wie sich die Sache entwickelt. Auf ein gutes Gelingen Das Ganze sieht ziemlich interessant aus.

Ich werde auf jeden Fall dran bleiben.

Mal sehen, wie sich die Sache entwickelt.

Auf ein gutes Gelingen

]]> Comment on Eclipse for everyone by brott http://www.building-a-webcrawler.net/2007/09/eclipse-for-everyone.html#comment-309 brott Tue, 18 Sep 2007 13:15:50 +0000 http://www.building-a-webcrawler.net/2007/09/eclipse-for-everyone.html#comment-309 Ja, dem stimme ich zu. Nachdem ich sehr lange im reinen (aber schlanken ;-)) Texteditor verbracht habe, dann über kommerzielle Produkte wie Dreamweaver und die IDE von Zend gestolpert bin, erfreue ich mich jetzt wieder meiner Eclipse-Umgebung :-) Ja, dem stimme ich zu. Nachdem ich sehr lange im reinen (aber schlanken ;-)) Texteditor verbracht habe, dann über kommerzielle Produkte wie Dreamweaver und die IDE von Zend gestolpert bin, erfreue ich mich jetzt wieder meiner Eclipse-Umgebung :-)

]]> Comment on Version 0.01 by Estigy http://www.building-a-webcrawler.net/2007/09/version-001.html#comment-306 Estigy Tue, 04 Sep 2007 06:36:34 +0000 http://www.building-a-webcrawler.net/2007/09/version-001.html#comment-306 Hi, Brati! Danke für den langen Beitrag und auch für den Hinweis bezüglich Groß-/Kleinschreibung. Werd das so schnell als möglich ändern. Als Windows-User ist man halt ein verwöhntes Kind. Die _Skeleton-Klasse ist nur als Grundgerüst für weitere Klassen vorhanden. Dann spar ich mir einfach, den Grundaufbau jedesmal zu tippen. Sie hat keinerlei sonstige/weitere Funktionalität. Was das Interface StorageEngine betrifft: Es geht hier eigentlich nur darum, festzulegen, was jede StorageEngine auf jeden Fall können muss. Natürlich kann MDB2 sehr viele Datenbanken bedienen, aber viele haben schon ihre eigenen Datenbank-Implementationen und wollen daher nicht das PEAR-Objekt verwenden. Dann schreiben sie einfach eine neue Unterklasse, die halt halt alle der Methoden implementieren muss. Die Dokumentation der letzten Version findet sich auch immer unter http://www.building-a-webcrawler.net/tosca/docs/. LG, Günther/Estigy. Hi, Brati!

Danke für den langen Beitrag und auch für den Hinweis bezüglich Groß-/Kleinschreibung. Werd das so schnell als möglich ändern. Als Windows-User ist man halt ein verwöhntes Kind.

Die _Skeleton-Klasse ist nur als Grundgerüst für weitere Klassen vorhanden. Dann spar ich mir einfach, den Grundaufbau jedesmal zu tippen. Sie hat keinerlei sonstige/weitere Funktionalität.

Was das Interface StorageEngine betrifft: Es geht hier eigentlich nur darum, festzulegen, was jede StorageEngine auf jeden Fall können muss. Natürlich kann MDB2 sehr viele Datenbanken bedienen, aber viele haben schon ihre eigenen Datenbank-Implementationen und wollen daher nicht das PEAR-Objekt verwenden. Dann schreiben sie einfach eine neue Unterklasse, die halt halt alle der Methoden implementieren muss.

Die Dokumentation der letzten Version findet sich auch immer unter http://www.building-a-webcrawler.net/tosca/docs/.

LG, Günther/Estigy.

]]> Comment on Version 0.01 by Brati http://www.building-a-webcrawler.net/2007/09/version-001.html#comment-305 Brati Mon, 03 Sep 2007 22:34:09 +0000 http://www.building-a-webcrawler.net/2007/09/version-001.html#comment-305 Nein, du bist nicht der Einzige. Auch ich habe nun endlich das Script zum Laufen bekommen und weiß nun auch, wie man PEAR verwendet. Vielen Dank hier erstmal an dich, Günther ;-) Ein Problem fiel mir mit Linux auf, da dieses ja auf Groß- und Kleinschreibung achtet. In der Klasse classes/webpage.class.php steht in Zeile 22 >> require_once 'NET/Url2.php'; allerdings wurde das Paket zumindest bei mir unter Net/URL2.php installiert. Außerdem hat Günther mir gesagt, dass man es als "Net_URL2-0.1.0" installiert, weil es noch beta ist. Soviel also zu Problemen, die auftreten können (für alle Folgemänner, die es testen wollen). Nun zum guten Stück selbst. Ich bin begeistert, wie professionell das alles wirkt und freue mich, solch ein Script beim Aufbau beobachten und testen zu dürfen. Die Geschwindigkeit scheint mir nicht schlecht zu sein, wobei du da natürlich wenig dafür kannst. Allerdings kam mir meine Klasse, die Google-Ergebnisse nach passenden Lyrics durchsuchen sollte, wesentlich langsamer vor. Ich frage mich, wie man in so kurzer Zeit, so viel coden kann. Ich eier schon seit einigen Wochen auf 2 Klassen und einem interface rum... Ich wollte eigentl. gerade fragen, ob du nicht die Documentation öffentlich zugänglich machen willst, aber die ist ja auch bereits im Download enthalten. Nun gut.. Eigentl. würde ich gerne technische Vorschläge machen, aber das ist schwierig, wenn man selbst weniger Ahnung hat. Ich frage mich jedoch, wofür hast du eine leere Klasse in dem Paket? Also ich finde es nicht besonders spannend _Skeleton anzusehen und die skel's, die ich sonst gesehen habe (php-unabhängig), hatten immerhin einen Inhalt. Die Storage-Enginge wird über MDB2 verwaltet, wenn ich das richtig verstanden habe? Also wenn jemand Oracle verwendet, dann installiert er sich einfach MDB2 passend und es läuft trotzdem dank deiner Zwischenklasse StorageService_MDB2? Wofür bräuchtest du dann ein interface, wenn der User die Verwaltung eh über ein anderes Script löst? Oder hast du vor auch noch andere Möglichkeiten als MDB2 anzubieten? Dann sähe ich wieder einen Sinn beim interface. Bei deiner Funktion könnte man sich vielleicht noch überlegen, ob man sie in eine SubKlasse von Net/URL2.php implementieren könnte. Denn dort gehören sie vom Gebiet her dazu, wenn ich mich nicht täusche. Schließlich ist relative2absolute eine URL-Operation. Vielleicht können andere Leser mal sagen, was sie von meinen Fragen und Ideen halten. So bekämen alle hier einen schönen überblick über die Wünsche und Ideen der Nutzer und die Möglichkeiten des Coders. Apropos Wünsche der Nutzer: Bin ich der Einzige der so blöd ist und die Konfiguration der MySQL Verbindung vergessen hat? ^^ Ich hoffe, dass ich mit den Kommentaren nicht über meine fachliche Kompetenz hinausgeschossen bin :) So far.. Ich freue mich schon auf andere Meinungen zu meinen Ideen. Nein, du bist nicht der Einzige. Auch ich habe nun endlich das Script zum Laufen bekommen und weiß nun auch, wie man PEAR verwendet.
Vielen Dank hier erstmal an dich, Günther ;-)

Ein Problem fiel mir mit Linux auf, da dieses ja auf Groß- und Kleinschreibung achtet. In der Klasse classes/webpage.class.php steht in Zeile 22
>> require_once ‘NET/Url2.php’;
allerdings wurde das Paket zumindest bei mir unter Net/URL2.php installiert. Außerdem hat Günther mir gesagt, dass man es als “Net_URL2-0.1.0″ installiert, weil es noch beta ist. Soviel also zu Problemen, die auftreten können (für alle Folgemänner, die es testen wollen).

Nun zum guten Stück selbst. Ich bin begeistert, wie professionell das alles wirkt und freue mich, solch ein Script beim Aufbau beobachten und testen zu dürfen.

Die Geschwindigkeit scheint mir nicht schlecht zu sein, wobei du da natürlich wenig dafür kannst. Allerdings kam mir meine Klasse, die Google-Ergebnisse nach passenden Lyrics durchsuchen sollte, wesentlich langsamer vor.

Ich frage mich, wie man in so kurzer Zeit, so viel coden kann. Ich eier schon seit einigen Wochen auf 2 Klassen und einem interface rum…

Ich wollte eigentl. gerade fragen, ob du nicht die Documentation öffentlich zugänglich machen willst, aber die ist ja auch bereits im Download enthalten.

Nun gut.. Eigentl. würde ich gerne technische Vorschläge machen, aber das ist schwierig, wenn man selbst weniger Ahnung hat. Ich frage mich jedoch, wofür hast du eine leere Klasse in dem Paket? Also ich finde es nicht besonders spannend _Skeleton anzusehen und die skel’s, die ich sonst gesehen habe (php-unabhängig), hatten immerhin einen Inhalt.

Die Storage-Enginge wird über MDB2 verwaltet, wenn ich das richtig verstanden habe? Also wenn jemand Oracle verwendet, dann installiert er sich einfach MDB2 passend und es läuft trotzdem dank deiner Zwischenklasse StorageService_MDB2?
Wofür bräuchtest du dann ein interface, wenn der User die Verwaltung eh über ein anderes Script löst? Oder hast du vor auch noch andere Möglichkeiten als MDB2 anzubieten? Dann sähe ich wieder einen Sinn beim interface.

Bei deiner Funktion könnte man sich vielleicht noch überlegen, ob man sie in eine SubKlasse von Net/URL2.php implementieren könnte. Denn dort gehören sie vom Gebiet her dazu, wenn ich mich nicht täusche. Schließlich ist relative2absolute eine URL-Operation.

Vielleicht können andere Leser mal sagen, was sie von meinen Fragen und Ideen halten. So bekämen alle hier einen schönen überblick über die Wünsche und Ideen der Nutzer und die Möglichkeiten des Coders.
Apropos Wünsche der Nutzer: Bin ich der Einzige der so blöd ist und die Konfiguration der MySQL Verbindung vergessen hat? ^^

Ich hoffe, dass ich mit den Kommentaren nicht über meine fachliche Kompetenz hinausgeschossen bin :)
So far.. Ich freue mich schon auf andere Meinungen zu meinen Ideen.

]]> Comment on Version 0.01 by brott http://www.building-a-webcrawler.net/2007/09/version-001.html#comment-304 brott Mon, 03 Sep 2007 21:05:43 +0000 http://www.building-a-webcrawler.net/2007/09/version-001.html#comment-304 Hehehe, dann gratuliere ich zu deinem neugeborenen Baby und wünsche ihm viel Kraft, Ausdauer, Mut und dass es immer weiter wächst ;-) Sobald ich Zeit dazu finde, werde ich mich sicher durch die Files wühlen und ich freu mich bereits auf deine Erklärungen dazu. Ich denke, ich bin nicht der einzige, der den Blog nun aufmerksam verfolgen wird - dass etwas vorwärts geht, ist nicht nur für dich eine Motivation :-) Hehehe, dann gratuliere ich zu deinem neugeborenen Baby und wünsche ihm viel Kraft, Ausdauer, Mut und dass es immer weiter wächst ;-)

Sobald ich Zeit dazu finde, werde ich mich sicher durch die Files wühlen und ich freu mich bereits auf deine Erklärungen dazu.
Ich denke, ich bin nicht der einzige, der den Blog nun aufmerksam verfolgen wird - dass etwas vorwärts geht, ist nicht nur für dich eine Motivation :-)

]]>