Spidr

Het script kan draaien op een enkele pagina, website, meerdere domeinen of zelfs non-stop.
Spidr is ontworpen om snel en eenvoudig te gebruiken te zijn

Eigenschappen .

• Herstel de spideren wachtrij en de geschiedenis van een vorige sessie .
• Aangepaste User-Agent strings.
• Aangepaste proxy-instellingen.
• HTTPS ondersteuning.


• Volgt:
• een-tags.
• iframe-tags.
• Frame-tags.
• Cookie beschermd koppelingen.
• HTTP 300, 301, 302, 303 en 307 Omleidingen.
• Meta-Refresh Omleidingen.
• HTTP Basic Auth beschermd koppelingen.


• Black-lijst of witte lijst URL's op basis van:
• URL-schema.
• Host naam
• poortnummer
• Volledige koppeling
• URL uitbreiding


• Biedt call-backs voor:
• Elke bezochte pagina.
• Elke bezochte URL.
• Elke bezochte URL die overeenkomt met een bepaald patroon.
• Elke herkomst en bestemming URI van een link.
• Elke URL die niet worden bezocht.


• Biedt actie methoden om:
• Pauze spidering.
• Sla verwerking van de pagina's.
• Sla verwerking van koppelingen.

Wat is nieuw in deze release:

• Catch OpenSSL :: SSL :: SSLError uitzonderingen wanneer geïnitieerd HTTPS Sessions.