urlclean

urlclean biedt de volgende functies:
- Om een ​​http redirect te volgen,
- Volgen van een HTML META redirect,
- Urchin en Facebook tracker URL-parameters te verwijderen
- Dat combineert al deze te unshorten en op te lossen verschillende URL's
Probeer het uit van de commandline:
& Nbsp; python -m urlclean
Inhoud:
Indexen en tabellen
- Index
- Module Index
- Zoek Pagina
Documentatie voor de code
urlcleaner een module die doorgestuurd urls oplost en verwijdert het bijhouden url params
urlclean.weedparams (url)
& Nbsp; verwijdert Urchin Tracker en Facebook surveillance params van URL's.
& Nbsp; Args:
& Nbsp; url (str): De url naar scrub van lelijke params
& Nbsp; Returns:
& Nbsp; (str). De gereinigde return url
urlclean.httpresolve (url, RE = Geen, proxyHost = 'localhost', proxyPort = 8118)
& Nbsp; te lossen een omleiding van een HTTP-verzoek.
& Nbsp; Args:
& Nbsp; url (str): De url om een ​​omleiding te volgen
& Nbsp; ua (fn): Een functie terugsturen van een User Agent string (optioneel)
& Nbsp; proxyHost (str): http proxy server (optioneel)
& Nbsp; proxyPort (int): http proxy server poort (optioneel)
& Nbsp; Returns: (str, httplib.response). De terugkeer opgelost url, en
& Nbsp; de reactie van de http-query
urlclean.unmeta (url, res)
& Nbsp; vindt geen meta redirects een httplib.response object dat text / html als content-type heeft.
& Nbsp; Args:
& Nbsp; url (str): De url om een ​​omleiding te volgen
& Nbsp; res (httplib.response): een http.response object
& Nbsp; Returns: (str). De opgelost return url
urlclean.unshorten (url, cache = Geen, RE = Geen,>> ** <> **