Methabot

A Methabot szoftver egy sebesség-optimalizált, scriptable és jól konfigurálható web, ftp és a helyi fájlrendszer bejáró. Támogatja scriptelt fájltípus elemzés, sokféle testreszabási lehetőségeket, és könnyen konfigurálható, hogy illeszkedjen anyones különleges igényeire.
Használatával a modulrendszer és programozási nyelv, a felhasználók képesek, hogy teljes vagy részleges irányítást a csúszó folyamatot, és úgy dönt, azonban Methabot kell tárolni web adatok, statisztikák és sok minden más.
Csak a futás Methabot parancssorból meg tudja configure egyéni fájltípusok, szűrés kifejezéseket, viselkedés, és még sok más, így nem kell egy Scripter!

Tulajdonságok :

• Ez a gyors, célja az alapoktól, és akár a sebesség-optimalizálás szem előtt.
• Scriptable keresztül Javascript a E4X
• A felhasználó által definiált fájltípus szűrés (a MIME típus, fájl kiterjesztését vagy UMEX kifejezés)
• Több szálon
• Jól konfigurálható parancssorból
• Bővíthető modul rendszer, amely támogatja az egyéni adatokat elemzőket és szűrők.
• Egyszerű, mégis hatékony szűrés URL keresztül UMEX.
• Automatizált letöltését
• Támogatás automatikus cookie-kezelés, amikor fut a HTTP protokollon keresztül
• Megbízható, hibatűrő hálózati
• Hordozható, sikeresen tesztelték a 32 bites / 64 bites Linux 2.6, 32-bit / 64-bit FreeBSD 6.x / 7.0, Windows XP és Mac OS X rendszereken működik szinte minden Unix-szerű operációs rendszer.

Mi az új ebben a kiadásban:

• Hibajavítás, ha a külső kandikál használták a mélység határ elrontotta.
• memóriahasználat razzia javítások
• dinamikus url opció többé nem kell keresni alapértelmezés szerint, mivel lassítja a kúszó jelentősen
• Építsd rendszer létrehozza és telepíti néhány fejléc fájlokat modul használhatja, ha összeköti
• Metha-config eszköz hozzáadott
• lmm_mysql kívülre ezt a csomagot

Mi az új a 1.5.0 verzió:

• Változások és új funkciók:
• olvasásának támogatása intial buffer stdin
• - típusa és --base-url parancssori opciók hozzá, valamint a initial_filetype opció konfigurációs fájlok
• Cookie-k és DNS info mostantól helyesen megosztott munkavállalók között, amikor fut többszálú
• Hozzáadott néhány példát használat parancsokat --examples
• Nagy előrelépéseket inter-szál kommunikációs, gyorsabb és szervezett
• A támogatás a "init" funkciókkal rendelkezik, szkripteket. Tudjon meg többet init funkciók http://bithack.se/projects/methabot/docs/e4x/init_functions.html
• libmetha nem fagy, amikor egy több egyidejű HTTP HEAD kérést többé. Ennek oka a fagy volt egy hiba libcurl ami most fix. Néhány ezek megoldásai kerültek fel libmetha, hogy megakadályozza a fagy származó előforduló, ha a hiba libcurl változatban is tárol.
• Támogatás régebbi verziói libcurl 7.17.x és 7.16.x
• Új információ áll rendelkezésre a & quot; ez a & quot; tárgya javascript-elemzők, típus és transzferstátus kódot. Bővebben a http://bithack.se/projects/methabot/docs/e4x/this.html
• - bőbeszédű opció cserélni --silent, hiszen bõsbeszédû most alapértelmezett
• A kezdeti támogatást FTP mászik, és a ftp_dir_url lánctalpas lehetőség
• mélység korlátozó most lánctalpas-specifikus
• Added parancssori --crawler és --filetype
• Támogatás meghosszabbítása és a kényszerítő már meghatározott csúszómászó és fájltípusok
• Támogatás a másolás kulcsszót konfigurációs fájlok
• Támogatás dinamikus átváltás az aktív lánctalpas, ez lehetővé teszi, hogy feltérképezni a különböző honlapokon teljesen eltérő módon az egyik mászik ülésén. Tudjon meg többet lánctalpas kapcsolási meg http://bithack.se/projects/methabot/docs/crawler_switching.html
• libev verziófrissítés, hogy 3,51
• Az include direktíva konfigurációs fájlok most teszi, hogy a benne konfigurációs fájl még nem betöltött, hogy megakadályozzák tartalmazza-hurkok és több fájltípus / lánctalpas meghatározásokat.
• Különböző SpiderMonkey szemétgyűjtő javítások, libmetha nem fagy már, amikor megtisztítása után a többszálú ülésén
• Hozzáadott néhány extra információt a --info lehetőség
• A "külső" opció most fix és újra engedélyezni
• Új lehetőséget --spread-dolgozók
• New libmetha API függvény lmetha_global_setopt () lehetővé teszi annak módosítását a globális hiba / üzenet / figyelmeztetés riporter
• Added kezdeti megvalósítását a tesztsorozat a fejlesztők számára
• Better hibajelentés, amikor betölti a konfigurációs fájlok
• Hibajavítás ha egy HTTP szervert nem tért vissza a Content-Type fejléc után HEAD kérést
• Hibajavítás amikor válogatás URL után több HTTP HEAD kérést
• Hibajavítás a HTML XML konverter, amikor a HTML oldal nem volt & lt; html & gt; tag
• Hibajavítás, a extless-url-opció nem működik
• Hibajavítás, html XML konverter már nem fojtók bájtsorrendjétől védjegyek vagy egyéb szöveget, mielőtt a tényleges HTML
• Hibajavítás, megakadályozta libmetha attól, hogy megpróbálja elérni URL protokoll nem támogatott
• Hibajavítás ha leállítása után a hiba.
• Hibajavítás, feloldhatatlan URL nem tört ki az újbóli próbálkozás után elsőre három próbálkozás
• Nagyon kísérleti és instabil támogatást Win32, célja elsősorban a fejlesztők számára
• Új konfigurációs fájlok:
• google.conf, hogy végre google keresések
• youtube.conf, youtube keres
• meta.conf, nyomatok meta adatok, mint például a kulcsszavak leírását és HTML oldalak
• title.conf, kiírja a címet a HTML oldalak
• ftp.conf, bejárási FTP szerverek

Mi az új verzióban 1.4.1:

• Beállítás nem találtam jsapi.h egyes rendszerek ezt úgy kell rögzíteni most.
• A konfigurációs fájlok most már tudja módosítani lánctalpas és fájltípus zászlók, tette hozzá a lehetőségek "külső" és "external_peek"
• Hibajavítás, Methabot néha összeomlik, ha takarítás üres URL után több HTTP HEAD
• Javítva az összeomlás bekövetkezett, amikor fut szinkronban.
• Építsd rendszer tartalmazza fix, ha jsconfig.h nem található.

követelmények :

• SpiderMonkey fejléc
• USE