Scrapy

Scrapy is een hoog niveau web kruipen en schrapen kader voor het schrijven van spinnen te kruipen en te ontleden webpagina's voor allerlei doeleinden, van informatie tot het bewaken of het testen van websites.

Kenmerken

• Simpel:
• Scrapy werd ontworpen met eenvoud in het achterhoofd, door het verstrekken van de functies die u nodig hebt zonder dat je in de weg


• Productieve:
• Schrijf gewoon de regels om de gegevens van webpagina's halen en laat Scrapy kruipen de volledige website voor u


• Snel:
• Scrapy wordt gebruikt in de productie crawlers volledig schrapen meer dan 500 retailer websites per dag, alles in een server


• Extensible:
• Scrapy is ontworpen met het oog op uitbreidbaarheid en dus het biedt een aantal mechanismen om nieuwe code aansluiten zonder dat u het kader kern raken


• Portable:
• Scrapy draait op Linux, Windows, Mac en BSD


• Open Source en 100% Python:
• Scrapy wordt in Python volledig geschreven, waardoor het zeer gemakkelijk maakt om te hacken


• Goed getest:
• Scrapy heeft een uitgebreide testset met zeer goede code dekking

Eisen

• Python