WebGraph

WebGraph egy keretet, hogy tanulmányozza a web grafikonon. WebGraph egyszerű módon kezelni nagyon nagy gráfok, kihasználva a modern tömörítési technikákat. Pontosabban, az jelenleg készül:
1. Egy sor lapos kódok, az úgynevezett kódok, amelyek különösen alkalmasak tárolására web grafikonok (vagy, általában, egészek hatványfüggvény-eloszlás egy bizonyos exponens tartomány). Az a tény, hogy ezek a kódok jól működik könnyen vizsgálni empirikusan, de mi is megpróbálunk egy részletes matematikai analízis.
2. algoritmusok tömörítésére web grafikonok, amelyek kihasználják a különbség tömörítés és referentiation (la LINK), intervalisation és kódok hogy magas tömörítési arány: például a WebBase grafikon (2001 csúszás) préselünk 3,08 bit linket, és egy pillanatfelvétel mintegy 18.500.000 oldalak a .hu domain-által összegyűjtött UbiCrawler préselünk 2,22 bit linket (a megfelelő értékek az átültetett grafikonok 2,89 bit linkre, és 1,98 bit link). Az algoritmusok által vezérelt több paraméter, amelyek különböző kompromisszumokat hozzáférési sebesség és a tömörítési arány.
3. algoritmusok eléréséhez a sűrített grafikon, anélkül, hogy a kibontás meg, a lusta technikák, amelyek késleltetik a dekompressziós, amíg ténylegesen szükség van.
4. A teljes, dokumentált végrehajtását algoritmusok fenti Java, a csomagban szereplő it.unimi.dsi.webgraph. Különben is világosan meghatározott API, a csomag több osztályt tartalmaz, amelyek lehetővé teszik, hogy módosítsa (pl ültetés) vagy újratömöríteni egy grafikon, így a különféle beállításokkal kísérletezni. A csomag támaszkodik fastutil a típus-specifikus, nagy teljesítményű gyűjtemények keretnek, MG4J a bit-szintű I / O, a COLT forgalmazója kész használható, hatékony algoritmusok és a GNU getopt a line-parancs elemzés.
5. Adatrekordok nagyon nagy gráf (pl milliárd hivatkozások). Ezek vagy gyűjtött nyilvános forrásokból (mint például WebBase), vagy ezek által termelt UbiCrawler.
A végén, a WebGraph elérheti és elemezni nagyon nagy web grafikonon, akár egy PC a mindössze 256 MB RAM-mal. Segítségével WebGraph olyan egyszerű, mint telepítése néhány jar fájlok letöltésének és egy adathalmaz. Ez teszi tanul jelenségek, mint a PageRank, forgalmazása grafikon tulajdonságait a web grafika, stb nagyon egyszerű.

Mi az új ebben a kiadásban:

• Ez a verzió hozzáteszi több fejlesztést HyperANF, és néhány hibajavítás.
• WebGraph most már megtalálható a Maven Central.

Mi az új verzióban 2.4.5:

• Ez a verzió tartalmaz egy megvalósítása HyperANF, új skálázható algoritmust a környéken funkciója grafikonon, és a módszerek számító átlagos legrövidebb út és egyéb származtatott adatok a környéken funkciót.
• Emellett rengeteg statisztikai adatok most számítani tömörítés alatt.

Mi az új verzióban 2.4.4:

• Néhány régi lehetőség lett távolítva.
• Az ingatlan fájlokat most bőven tartalmaznak hasznos statisztikák.
• Random hozzáférés sebessége javult.

Mi az új verzióban 2.4.3:

• Fix ArrayListMutableGraph.addNodes () (hála Erik Lumer találni és ennek rögzítésével bug).
• New lehetőségek váltani a kimeneti ASCII grafikonok.
• RemappedImmutableGraph.successorArray (x) volt, amely ugyanazt a tömb minden hívást, így az örökölt utódai (x) módszerrel használhatatlanná átkutatni párhuzamosan különböző listákon. Fix (most visszatér egy példányát a tömb helyett).
• New véletlenszerű átalakulás permutálja véletlenszerűen egy grafikont.

Mi az új a 2.4.2-es változata:

• Egy új & quot; komponálni & quot; építeni lehetővé teszi, hogy össze (arc-jelölt) grafikonok.