Building a webcrawler

ToSCA, die Entwicklung eines Spiders

Das Projekt

Alles begann mit der einfachen Idee, meinen eigenen kleinen Web Crawler zu schreiben. Als kleines Extra wäre es nett, ihn nicht loszulassen und das gesamte Internet zu durchsuchen (ist etwas Zeitaufwändig und die paar TB an Speicher hab ich auch grad nicht *g*), sondern ihn auf Seiten zu beschränken, die einem zuvor bestimmten Thema angehören.