DataCleaner

DataCleaner egy nyílt forráskódú és teljesen ingyenes megoldás a szervezetek és vállalatok számára, hogy növeljék és minőségének mérésére az adatokat.
A DataCleaner, a felhasználók képesek lesznek a profil, összehasonlítani, az adatok érvényesítéséhez elleni üzleti szabályok, és figyelemmel kíséri a progresszió ezeknek a méréseknek az idő múlásával.
A szolgáltatásai között említhetjük adatok ellenőrzése, az adatok profilalkotás és a DQ elemzés, adattisztítás és gazdagítását, felderítése és egyesíti másolatok, az ügyfelek adatait minőség, valamint a szupergyors ETLightweight (Extract-Transform-Load).
Ha többet szeretne megtudni DataCleaner funkcióit és képességeit, valamint azt, hogyan kell dolgozni vele, kérjük, olvassa el http://eobjects.dk/docs

What új ebben a kiadásban :

• Fejlesztések és új funkciók:
• tettük lehetővé létrehozására és megszüntetésére táblázatok segítségével az asztali UI DataCleaner. Ne feledje, hogy a kifejezés & quot; asztalnál & quot; Itt valóban területe több mint relációs adatbázis táblákat. Ugyancsak ide tartozik a lapok MS Excel adatrögzítők, gyűjtemények MongoDB, dokumentum típus CouchDB és ElasticSearch és így tovább ... Alapvetően minden adattár típusok, amelyek támogatják írási-műveletek, kivéve egy asztalos adatrögzítők, mint CSV adatrögzítők, támogatja ezt a funkciót! A funkció ki van téve keresztül:
• & quot; Tábla létrehozása & quot; engedélyezték a jobb egérgombbal a menü a sémák a fa a bal oldalon a kérelmet.
• & quot; Tábla létrehozása & quot; engedélyezett keresztül is ping-kiválasztási bemenetek alkatrészek, mint a Beszúrás táblába, kikereste és frissítése asztalra.
• & quot; DROP TABLE & quot; engedélyezték a jobb egérgombbal a menü a táblákat a fa bal oldalán a kérelmet.
• Már hozzá a (kötelező) képessége megadja a Salesforce.com webes szolgáltatás végpont URL-t. Ez lehetővé teszi, hogy DataCleaner csatlakozni sandbox környezetben a Salesforce.com, valamint a saját egyéni végpontok.
• A ElasticSearch támogatása javult, lehetővé teszi az egyéni leképezés, valamint a többszöri használat ElasticSearch adattár meghatározások most is keresi meg és indexelés.
• A mintavételi rekordok és kiválasztása potenciális ismétlődések megkettőzése észlelési funkció javult, ami gyorsabb konfigurációt, mert a döntések során az edzés sokkal jobban jellemzik.
• A Duplicate észlelési modell fájlformátum frissült, amely megszüntette a szükség külön "referencia" fájl megmentése érdekében már a képzés döntéseket. Kompatibilitás a régi formátum is megmaradt, de az új formátum hozzáteszi számos előnnyel jár a felhasználói élményt.
• Hibajavítások:
• Egy szál éhen hiba javítását a DataCleaner monitoron. Ennek hatása a kérdés nagyon jó volt, de ez történt, csak ritka és nagyon egyedi esetekben. Ha egyéni hallgató tárgyakat a DataCleaner monitor dobja hibát, ez azt eredményezné, hogy az erőforrás soha nem szabadult fel, és vesz egy szál a Quartz-ütemezési medence a szerveren. Ha ez történne, sokszor a kiszolgáló végül elfogy a téma a medencében.
• A vertikális menüt az eredmény képernyőn most csinál megfelelő munkát megjeleníteni a címkéket a komponensek, amelyek eredményeit. Ez megkönnyíti, hogy ismerje el, amely menüpont pontokat milyen eredménnyel elem.

Mi az új verzióban 3.5.7:

• A "szinonimája keresési" átalakulás most van egy lehetőség kikeresni minden jeléül a bemenet. Ez akkor hasznos, ha csinálsz cseréje szinonimák belül értékeinek hosszú szöveges mező.
• blokkolása végrehajtása DataCleaner munkahelyek révén a monitor webes szolgáltatás ez néha nem egy bug miatt a blokkoló menet. Ez a probléma javításra került.
• javulás történt, ahogy a munkahelyek és a sorrend a komponensek zárva / kitakarította végrehajtása után.
• A JNLP / Java WebStart változata DataCleaner volt téve egy hiba a Java futtató ami bizonyos JAR fájlok nem ismeri fel a WebStart hordozórakéta, bizonyos körülmények között. Ez a probléma már rögzített azon belül kisebb módosításokat az JAR fájlokat.
• Néhány halott linkeket a dokumentációban rögzítették.

Mi az új verzióban 3.5.4:

• Most van lehetőség, hogy elrejtse kimeneti oszlopok transzformációk . Rejtőzködő nem befolyásolja a feldolgozási folyamatot egyáltalán, hanem egyszerűen elrejti őket a felhasználói felület, és így fennáll a lehetősége az élmény még tiszta, amikor kapcsolatba kerül más alkatrészek.
• Egy új webes szolgáltatást bővült a monitoring webes alkalmazás, amely módot ad lehívni állapotának végrehajtása egy adott munkát.
• Egy bogár rögzítették, így a HTML jelentés nem az egyes elemzések típusai, amikor nem adtak át jegyzőkönyvet feldolgozása.
• És 6 egyéb kisebb hiba lett címezni.

Mi az új verzióban 3.5.1:

• Capture változott feljegyzések:
• Egy új szűrő adunk ahhoz, hogy inkrementális feldolgozás rekordok nem dolgoztak korábban, pl a profilalkotás vagy másolása csak a módosított rekordokat. Az új szűrők neve Capture megváltozott bejegyzések, utalva a koncepció Change adatrögzítési.
• sorba rendezett végrehajtását munkahely:
• A DataCleaner monitor most sorba a végrehajtását ugyanazt a munkát, ha ez váltja többször. Ez biztosítja, hogy véletlenül ne fuss ugyanazt a munkát egyidejűleg vezethet mindenféle kérdéseket, attól függően, hogy mi a feladat nem.
• Kisebb hibajavítások:
• több hibajavítás került sor.

Mi az új 3.5 verzió:

• Több varázslók már elérhető, regisztráció adatrögzítők; beleértve fájlfeltöltés a szerver CSV fájlokat, adatbázis-kapcsolat belépés, vezetett nyilvántartásba vétele Salesforce.com adatait, és így tovább.
• A munka épület varázslók is kiterjesztették több továbbfejlesztett funkciók; Válogatás érték forgalmazás és mintázat megtalálását területeken a Gyors elemzés varázsló, egy teljesen új létrehozásának varázslóját EasyDQ alapú ügyfél tisztító munkahelyeket és új munkát varázsló égetés Pentaho Data Integration munkahelyek (tovább lent).
• Mostantól eseti lekérdezés bármilyen adattár közvetlenül a webes felhasználói felület. Ez megkönnyíti, hogy gyorsan vagy szórványos betekintést az adatokat hoznának létre munkahelyeket, vagy egyéb felügyelt megközelítéseit az adatok feldolgozása.
• Ha munkahely vagy adatrögzítők jönnek létre, a felhasználó vezérli, hogy tegyen lépéseket az újonnan épített objektumot. Például, akkor nagyon gyorsan futni a melót, miután ez épült, vagy lekérdezés adattár követően nyilvántartásba vették.
• A rendszergazdák most közvetlenül feltöltheti munkákat a tároló, ami különösen hasznos, ha azt szeretné, hogy kézzel szerkeszteni az XML-tartalom a munka fájlokat.
• A sok technikai cruft most rejtett leváltja mutató egyszerű dialógusok. Például, ha a munka váltott ki nagy terhelési indikátor látható, és amikor elkészült az eredmény látható lesz. A fejlett naplózási képernyőn, amelyet korábban még ma is megjelenítésre hivatkozásra kattintva további részleteket.

Mi az új verzióban 3.1.2:

• Már hozzá egy webes szolgáltatás, a monitoring kérelmet kapok egy (fenti) metrikus értékeket. Ez teszi a monitoring még használható, mint egy kulcsfontosságú infrastrukturális elemet, mint úgy, hogy a monitor adatai (minőségi) és tegye az eredmények a harmadik féltől származó alkalmazások.
• A "táblázat keresés" komponens hozzáadásával javították csatlakozzon szemantika mint egy konfigurálható ingatlan. A csatlakozni szemantika is zavar, ha szeretné a keresési dolgozni szemantikailag mint egy LEFT JOIN vagy inner join.
• A EasyDQ alkatrészek javították, további beállítási lehetőségek és gazdagabb deduplication eredmény felületet.
• Performance fejlesztések voltak, különös figyelmet fordítva a kiadás. Fejlesztések történtek a motorja DataCleaner tovább hasznosítani a streaming feldolgozó megközelítés bizonyos esetekben sarokban pedig nem fedezte korábban.

Mi az új verzióban 3.1.1:

• A dátum és az idő kapcsolatos elemzést lehetőségek bővültek , hozzátéve forgalmazás elemzők héten számok, hónapok és évek. Minden elemző kapcsolódó dátum és idő csoportosították belül almenü & quot; dátum és idő & quot; & quot; elemzése & quot;.
• Egy opcionális & quot; leíró statisztikai & quot; opció került a száma analizátor és a dátum / idő oldalon. Ez az opció hozzáteszi további mérőszámok, melynek eredményét az elemző, mint a Medián, ferdeség, percentil, Csúcsosság. Ezek a mutatók nem kötelező, mivel a memóriát valamivel nagyobb, mint a meglévő mutatókat.
• A sorok az idővonalon grafikonok a monitoring webes alkalmazás most már kis pontok bennük. Ez különösen hasznos diagramok kevés (vagy akár csak egy) megfigyelések bennük - rámutatni, hogy hol a megfigyelési pontok.
• A lekérdezés értelmező amikor meghívjuk ad-hoc lekérdezések is jelentősen javult. Most lekérdezések tartalmazhat KÜLÖNÁLLÓ záradékokat, * -wildcards, subqueries és hibatűrő felé text-ügyben kérdéseket.
• Két új transzformátor adtak generáló UUID és generáló timestamps.

Mi az új 3.1 verzió:

• Metric képletek - kidolgozott Data Quality KPI:
• Ez most lehet építeni sokkal bonyolultabb Data Quality KPI-DataCleaner monitoring webes alkalmazás. A felhasználói felület lehetővé teszi, hogy komplex képletek táblázatos formula stílusban; változók felhasználásával által gyűjtött DataCleaner munkahelyeket.
• Metric képleteket is össze tetszőleges számú mérőszámok, állandók és műveletek, egészen addig, amíg ki lehet fejezni egy matematikai egyenlet.
• Például - sebességének mérésére az ismétlődő rekordok aránya az összes rekordot száma. Vagy mennyiségének mérésére termékkód, amelyek megfelelnek egy sor több húr mintákat.
• Ad-hoc lekérdező - bármely datastore:
• A DataCleaner 3.1 akkor most végre ad-hoc lekérdezések bármely adattár! Lekérdezések össze egyszerű SQL és alkalmazni fogják az adatbázisokhoz, valamint a fájlokat, NoSQL adatbázisok és több, hogy egy igazán hasznos lekérdezés mechanizmust, amely belenyúlik a felfedezés és az adatok profilalkotás tapasztalat.
• A lekérdezési lehetőség is rendelkezésre áll egy webes szolgáltatás nyomon a felhasználók a rendszergazdai szerepet. A lekérdezés van feltéve mint egy HTTP paraméter vagy POST testet, és az eredmény tájékoztató XHTML asztalra.
• Érték matcher - új elemzési lehetőség:
• Gyakran előfordul, hogy szilárd elképzelés, amelyen értékeket meg kell engedni, és várható egy adott területen. Ebben DataCleaner mindig volt az Érték eloszlásvizsgálat lehetőség, amely segít érvényesíteni a feltételezéseket. Ebben DataCleaner 3.1 bár, van egy pontosabb áldozatul - az Érték matcher. Ez az elemzés az opció lehetővé teszi, hogy megadod a várt értékek, majd hajtsa végre az érték eloszlása, mint elemzés, konkrétan, hogy érvényesítse és találtak váratlan értékeket.
• másolás, törlés és a munkahelyek:
• a munkahelyek és eredmények a DataCleaner monitoralkalmazás javult jelentősen. Most kattintson munkát a ütemezése oldalon a monitor, és megtalálni lehetőségekkel lehetővé folyamatokra, mint átnevezés, másolás, törlés stb. Minden művelet tiszteletben tartja a kapcsolatok egyéb leletek a monitoron, mint például elemzési eredmények, menetrend és így tovább. Ez azt jelenti, hogy a vezetés a monitoring adattár már sokkal könnyebb és érett.
• Manage adatminőség története:
• Néha te néző helyzetek, amikor valóban szeretne csinálni felügyelet történelmi adatok! Lehet, hogy van történelmi helyeken vagy mentést adatbázisok, ahol szeretné megmutatni, és elmondja a történetet. Most már nem az elemzés e történelmi adatok, töltsd fel az DataCleaner monitor, és egy új webes szolgáltatást, meg a történelmi adatok az adott vizsgálat eredménye. Ez azt jelenti, hogy a határidőket megfelelően fog ábrázolni az eredmények felhasználásával a tervezett időpontban, de az eredménnyel, hogy amit összegyűjtött talán egy későbbi időpontban.
• A fürtözött ütemező támogatást (EE esetében):
• Az ütemező az DataCleaner monitort külsőleg, úgy, hogy ki lehessen cserélni a segítségével egyszerűen beállítható. Az Enterprise Edition (EE) a DataCleaner, adunk egy fürtözött ütemező, amely képes betölteni egyensúlyt és osztja el a kivégzések szerte a klaszter a gép.
• Single-Sign (SSO) használ CAS (EE esetében):
• A Enterprise Edition (EE) a DataCleaner most olyan egyszer bejelentkezési lehetőség a monitor alkalmazását. Most DataCleaner lehet szerves része az informatikai infrastruktúra, továbbá biztonsági szempontból.
• ... És sokkal több:
• A fenti csak egy összefoglaló. Több mint harminc kérdést megoldottak ebben a kiadásban. Megoldottuk több megkeresést jön a fórumok és közösségi, és javasoljuk mindenkinek, hogy használja ezt a médiumot, mint a jármű változás. Nagyon boldogok vagyunk, hogy a fejlesztés a DataCleaner jelentősen befolyásolta a patakok a közösségben.

Mi az új verzióban 3.0.3:

• Hozzáad egy szolgáltatást átnevezése munkahelyek monitoring adattár .
• érheti ezt a nyugodt webes szolgáltatás, vagy interaktívan az UI.
• A Web szolgáltatás adtunk a változó történelmi dátumot az elemzés eredményét az ellenőrzési adattár.
• A Web kérelmet nyújtottak be kompatibilis a legacy JSF konténerek.
• cachingje konfiguráció a webalkalmazás-ben jelentősen javult, ami gyorsabb az oldalak betöltési és munkahely indítása alkalommal.

Mi az új verzióban 3.0.2:

• Ha kiváltó munkát a monitoring webes alkalmazás, A panel automatikusan frissíti másodpercenként, hogy a legújabb állam a végrehajtás.
• A fájl alapú adatrögzítők (mint például a CSV vagy Excel táblázatok) abszolút utak már helyesen megoldani a monitoring webes alkalmazás.
• A & quot; Válasszunk kulcs / érték map & quot; transzformátor most már támogatja a beágyazott válasszuk kifejezések, mint & quot; Address.Street & quot; vagy & quot; RendelésiSorokhoz [0] .product.name & quot;.
• A kiolvasott mechanizmust lettek optimalizálva a teljesítményt, a előkészített utasításokat, amikor fut ellen JDBC adatbázisokhoz.
• rendszergazdák most letölthető fájl alapú adatrögzítők közvetlenül a & quot; adatrögzítők & quot; oldal.
• Kivétel kezelése a monitoring webes alkalmazás javult egy kicsit, hogy a hibaüzenetek pontosabb és intuitív.