Crawler4j 3.3

Crawler4j is een open source Java-crawler die een eenvoudige interface voor het web kruipen biedt. Je kunt een multi-threaded webcrawler in 5 minuten. U kunt een crawler klasse die WebCrawler breidt creëren en hij beslist welke URL's moeten worden...