Spidr

A szkript fut egy oldal, weboldal, több domaint vagy akár non-stop.
Spidr úgy tervezték, hogy gyors és könnyen használható.

Tulajdonságok :

• Állítsa vissza a pók queue és a történelem egy korábbi ülésen .
• Egyéni User-Agent szálakat.
• Egyéni proxy beállításait.
• HTTPS támogatása.


• következő:
• a címkéket.
• iframe címkék.
• frame tag.
• Cookie védett linkek.
• HTTP 300, 301, 302, 303 és 307-es átirányításokat.
• Meta-Refresh átirányítások.
• HTTP Basic Auth védett linkek.


• fekete-lista vagy fehér-lista URL-ek alapján:
• URL rendszert.
• Host name
• Port száma
• Teljes linket
• URL kiterjesztése


• rendelkezik hívás-hátán a:
• Minden meglátogatott oldal.
• Minden meglátogatott URL.
• Minden meglátogatott URL, amely megfelel a megadott minta.
• Minden származási és rendeltetési URI egy link.
• Minden URL, amely nem látogatható.


• cselekvésre ad módszerek:
• Pause pók.
• Skip feldolgozása oldalak.
• Skip feldolgozása linkeket.

Mi az új ebben a kiadásban:

• Catch OpenSSL :: SSL :: SSLError kivételek, amikor kezdeményezte HTTPS Sessions.