PHPCrawl

Kan gebruikt worden in het schrijven van zoekmachine crawlers (spinnen), die de mijne webpagina's voor diverse informatie.
PHPCrawl verwerft informatie werd geconfigureerd om te halen en geeft het door aan krachtiger apps voor verdere verwerking

Kenmerken .

• Filters voor URL en Content-Type gegevens
• Definieer manieren om cookies te verwerken
• Definieer manieren om robots.txt-bestanden te verwerken
• Beperk haar activiteiten op verschillende manieren
• Multi-processor functie

Wat is nieuw in deze release:

• Fixed bugs:
• Links die gedeeltelijk worden urlencoded en gedeeltelijk niet te herbouwen / correct gecodeerd nu.
• Verwijderde een onnodige debug var_dump () uit PHPCrawlerRobotsTxtParser.class.php
• Server-naam-indicatie in TLS / SSL werkt nu correct.
• & quot; base-href & quot;. -tags In websites krijgen juist nu opnieuw geïnterpreteerd

Wat is nieuw in versie 0.80 beta:

• Code werd volledig herwerkt, geport naar PHP5-OO- code en een veel code werd herschreven.
• De mogelijkheid toegevoegd om gebruik te maken van meerdere processen gebruiken om een ​​website spin. Methode & quot; goMultiProcessed () & quot; toegevoegd.
• Nieuwe Overridable methode & quot; initChildProcess () & quot; toegevoegd voor het initiëren van kind-processen bij het gebruik van de crawler in multi-proces-modus.
• Implementet een alternatief, interne SQlite caching-mechanisme voor de URL's maken het mogelijk om zeer grote websites te spideren.
• Methode & quot; setUrlCacheType () & quot; toegevoegd.
• Nieuwe methode setWorkingDirectory () toegevoegd voor het bepalen van de locatie van de crawlers tijdelijke werk--map handmatig. Daarom methode & quot; setTmpFile () & quot; wordt gemarkeerd als deprecated (heeft geen functie meer).
• Nieuwe methode & quot; addContentTypeReceiveRule () & quot; vervangt de oude methode & quot; addReceiveContentType () & quot;.
• De functie & quot; addReceiveContentType () & quot; is nog steeds aanwezig, maar werd gemarkeerd als deprecated.

Eisen

• PHP 5 of hoger
• PHP met OpenSSL ondersteuning