DataFu

DataFu fejlesztették LinkedIn és van írva teljesen Java.

DataFu funkciókat tartalmaz / könyvtárak dolgozni:

- Statisztika

- becslése

- A mintavételi

- Sessions

- Link Elemzés

- halmaz műveleteket

- Táska

DataFu tökéletes adatbányászati ​​és statisztikai alkalmazások dolgozik tetején Hadoop vagy Pig adatbázisokban.

Ezek a funkciók lehetővé teszik a fejlesztők számára, hogy teljes mértékben kihasználják az összes tárolt adatok egy Hadoop vagy Pig adatbázisba anélkül foglalkozni hatalmas rendszerkövetelmények érdekében megtenni.

Mi az új ebben a kiadásban:

• Egy pár UDF az egyszerű véletlen mintavétel csere.
• További függőségek csomagolnak DataFu így kevesebb JAR függőségek szükséges.
• SetDifference UDF számítástechnikai beállított különbség (például az A-B vagy A-B-C).

Mi az új verzió 1.2.0:

• Egy pár UDF az egyszerű véletlen mintavétel csere.
• További függőségek csomagolnak DataFu így kevesebb JAR függőségek szükséges.
• SetDifference UDF számítástechnikai beállított különbség (például az A-B vagy A-B-C).

Mi az új 1.1.0 verzió:

• Added SHA hash UDF.
• InUDF és AssertUDF hozzáadott Pig 0,12 kompatibilitás. Ezek ugyanazok, mint a és Assert.
• SimpleRandomSample, amely végrehajtja a skálázható egyszerű véletlen mintavétel algoritmus.