Software informatie:
Versie: 0.4.1
Upload datum: 12 May 15
Licentie: Gratis
Populariteit: 174
Het script kan draaien op een enkele pagina, website, meerdere domeinen of zelfs non-stop.
Spidr is ontworpen om snel en eenvoudig te gebruiken te zijn
Eigenschappen .
- Herstel de spideren wachtrij en de geschiedenis van een vorige sessie .
- Aangepaste User-Agent strings.
- Aangepaste proxy-instellingen.
- HTTPS ondersteuning.
- Volgt:
- een-tags.
- iframe-tags.
- Frame-tags.
- Cookie beschermd koppelingen.
- HTTP 300, 301, 302, 303 en 307 Omleidingen.
- Meta-Refresh Omleidingen.
- HTTP Basic Auth beschermd koppelingen.
- Black-lijst of witte lijst URL's op basis van:
- URL-schema.
- Host naam
- poortnummer
- Volledige koppeling
- URL uitbreiding
- Biedt call-backs voor:
- Elke bezochte pagina.
- Elke bezochte URL.
- Elke bezochte URL die overeenkomt met een bepaald patroon.
- Elke herkomst en bestemming URI van een link.
- Elke URL die niet worden bezocht.
- Biedt actie methoden om:
- Pauze spidering.
- Sla verwerking van de pagina's.
- Sla verwerking van koppelingen.
Wat is nieuw in deze release:
- Catch OpenSSL :: SSL :: SSLError uitzonderingen wanneer geïnitieerd HTTPS Sessions.
Reacties niet gevonden