MooseFS

MooseFS egy hibatűrő, hálózati elosztott fájlrendszer terjed adatok több fizikai szerverek, amelyek a felhasználó számára látható, mint az egyik forrás. & Nbsp; A normál fájlműveleteket MooseFS működik más Unix-egyaránt fájlrendszerek:
& Nbsp; * A hierarchikus felépítés (könyvtárfa)
& Nbsp; * Stores POSIX fájlattribútumokat (engedélyek, utolsó módosítási és hozzáférési alkalommal)
& Nbsp; * Támogatja a speciális fájlok (block és karakter eszköz, csövek és konnektorok)
& Nbsp; * szimbolikus linkek (fájlnevek mutat cél fájlokat, nem feltétlenül a MooseFS) és a hard link (különböző fájlok nevei utaló ugyanazokból az adatokból MooseFS)
& Nbsp; * Hozzáférés a fájlrendszer lehet korlátozni az IP címet és / vagy jelszót
Sajátosságait MooseFS a következők:
& Nbsp; * Nagy megbízhatóság (több példányban adatok tárolhatók szerte különböző számítógépek)
& Nbsp; * Kapacitás dinamikusan bővíthető csatolásával új számítógépek / lemezek
& Nbsp; * A törölt fájlok megmaradnak a beállított időn belül (a fájlrendszer szinten "kukába")
& Nbsp; * koherens pillanatképek fájlokat, még ha a fájl írása / elérhető
MooseFS négy komponensből:
& Nbsp; * a vezető szerver (master server) & ndash; Egyetlen gép kezelése az egész fájlrendszer, tárolására metaadatok, hogy minden fájlt (információ mérete, sajátosságai és a fájl helyét (ok), beleértve az összes információt nem szabályos fájlokat, vagyis a könyvtárak, foglalatok, csövek és eszközök).
& Nbsp; * Az adatok szerverek (darab szerverek) - tetszőleges számú szerverekre fájlok tárolására adatok és szinkronizálás azt egymás között (ha egy bizonyos fájlt állítólag létezik egynél több példányban).
& Nbsp; * A metaadatok backup szerver (ek) (metalogger szerver) - bármennyi szerveren, amelyek mindegyike metaadatait változásairól, és rendszeres időközönként letölti fő metaadatfájlt; hogy támogassák ezeket a szervereket a szerepe a vezető szerver, ha primary master leáll.
& Nbsp; * Client számítógépre, amely hozzáféréssel (mount) a fájlokat MooseFS - tetszőleges számú használó gépek mfsmount folyamat kommunikálni a vezető szerver (fogadására és módosíthatja a fájl metaadatokat) és chunkservers (cserélni fájl adatainak).
mfsmount alapul FUSE mechanizmus (fájlrendszer Userspace), így MooseFS elérhető minden operációs rendszeren egy működő FUSE végrehajtása (Linux, FreeBSD, MacOS X, stb)
Metaadatokat tárolja a memóriában a vezető szerver, és ezzel egyidejűleg a lemezre mentett (például a rendszeresen frissített bináris fájlok és azonnal frissíteni inkrementális naplók). A fő bináris fájl, valamint a naplókat vannak szinkronizálva metaloggers (ha van).
A fájl adatok oszlik töredékek (darabokat), amelynek maximális az egyes 64MiB. Minden csonk magát egy fájlt választott lemezek adatok szerverek (chunkservers).
Nagy megbízhatóság érhető el konfigurálása annyi különböző adatok szerverek szükség, hogy megvalósítsa a "cél" értékét (példányszám tartani) beállítani az adott fájlt.
hogyan működik a rendszer
Minden fájl műveleteket a kliens számítógépek számára, amelyek szerelt MooseFS pontosan ugyanaz, mert lenne más fájlrendszereket. Az operációs rendszer kernel átküldi az összes fájl műveleteket a FUSE modul, amely kommunikál a mfsmount folyamatot. A mfsmount folyamat kommunikál a hálózaton keresztül, majd ezt követően az irányító szerver és adatok szerverek (darab szerverek). Ez az egész folyamat teljesen átlátható a felhasználó.
mfsmount kommunikál a vezető szerver minden alkalommal egy művelet fájl metaadatokat van szükség:
& Nbsp; * fájlok létrehozását
& Nbsp; * fájlok törlése
& Nbsp; * olvasási könyvtárak
& Nbsp; * az olvasás és a változó attribútumok
& Nbsp; * változó méretű fájlokat
& Nbsp; * elején adatokat olvas vagy ír
& Nbsp; * bármilyen hozzáférést speciális fájlokat MFSMETA
mfsmount használja a közvetlen kapcsolatot a Data Server (darab szerver), amely tárolja a vonatkozó darab egy fájlt. Írásakor egy fájlt, miután befejezte az írási folyamat a vezető szerver kap információt mfsmount frissíteni a fájl hossza, és az utolsó módosítás idejét.
Ráadásul az adatokat szerverek (darab szerverek) kommunikálnak egymással szaporodni adatokat annak érdekében, hogy elérjék a megfelelő számú fájlmásolatok különböző gépeken.
& Nbsp;
Fault Tolerance
& Nbsp;
Adminisztratív parancsok segítségével a rendszergazda adja meg a "cél", vagy hogy hány példányt kell tartani, a per-könyvtár, vagy per-fájl szinten. Beállítása a cél, hogy több és több, mint egy Data Server biztosítja meghibásodást. Amikor a fájl adatait tárolják sok példányban (egynél több adatot szerver), a rendszer ellenáll a hibák vagy ideiglenes hálózati kimaradások az egyetlen adat szerveren.
Ez természetesen nem vonatkozik az fájlokat a "cél" az értéke 1, ebben az esetben a fájl csak létezik egyetlen adatkiszolgálón függetlenül attól, hogy hány adatkiszolgálókról telepítettek a rendszert.
Kivételesen fontos fájlokat lehet a kitűzött cél, hogy több kettőnél nagyobb, ami lehetővé teszi, hogy ezeket a fájlokat, hogy ellenáll a bontást több mint egy szervert egyszerre.
Általában a beállítás a példányszám elérhető legyen az egyik nagyobb, mint a várható száma vagy elérhetetlenné out-of-order szerverek.
Abban az esetben, ha egyetlen adat kiszolgáló meghibásodik, vagy lekapcsolják őket a hálózatról, a tárolt fájlok belül, hogy már legalább két példányban, továbbra is elérhető lesz a másik adat szerveren. Az adatok, hogy most "célját" többszöröződnek másik hozzáférhető adatok szerver ismét biztosítja a szükséges példányszámot.
Meg kell jegyezni, hogy ha a rendelkezésre álló szerverek alacsonyabb, mint a "cél" beállítva egy adott fájl, a szükséges példányszámot nem őrizhető meg. Hasonlóképpen, ha ugyanazok a szerverek száma, mint a jelenleg beállított célt, és ha egy adat kiszolgáló elérte a 100% -os kihasználtsággal, nem lesz képes arra, hogy kezdje egy példányával a fájlt, amely már nem éri el célját küszöb miatt egy másik adatkiszolgálón lesz elérhető. Ezekben az esetekben új adat szerverre kell csatlakoztatni a rendszer, amint lehetséges, annak érdekében, hogy fenntartsák a kívánt példányszámot a fájl.
Egy új adat szerver lehet csatlakoztatni a rendszerhez bármikor. Az új kapacitások azonnal használhatóvá válik tárolni az új fájlokat, vagy tartani másolt fájlok másolatait más adatokból szerverek.
Felügyeleti eszközök léteznek lekérdezni az állapotát a fájlok a fájlrendszer meghatározásra, hogy a fájl Jelenleg az alábbi céljukat (set példányszám). Ez a segédprogram is használható, hogy változtat a cél beállítást szükség szerint.
Az adatok töredékek tárolt csonkokat verzióval, így újra csatlakozik a Data Server régebbi másolatát adatok (például, ha lett volna elérhető egy ideig), nem okoz a fájlokat, hogy legyen egységes. Az adatok szerver szinkronizálja magát tartani a jelenlegi változatban a darabokat, ahol az elavult darabokat kell távolítani, és a szabad hely fedezik tartani az új darabokat.
Kudarcai egy kliens (futtató mfsmount folyamatban) változása nem befolyásolja a koherencia a fájlrendszer, vagy a másik ügyfél műveleteket. A legrosszabb forgatókönyv megvalósulása esetén az adatok még nem küldte a meghibásodott kliens számítógépen elveszhet.
& Nbsp;
PLATFORMS
& Nbsp; MooseFS elérhető minden operációs rendszeren egy működő FUSE végrehajtása:
& Nbsp; * Linux (Linux 2.6.14 és akár már FUSE támogatása szerepel a hivatalos kernel)
& Nbsp; * FreeBSD
& Nbsp; * OpenSolaris
& Nbsp; * MacOS X
A mester szerveren metalogger szerver és chunkservers is futtatható Solaris és Windows Cygwin. Sajnos biztosító nélkül nem lesz lehetséges a felcsatolást ezekből az operációs rendszerekből.

Mi az új ebben a kiadásban:

< li> A legfontosabb változások közé tartozik rögzített jelkezelést a többszálú modulok, célját és trashtime határértékek mfsexport.cfg, és egy egyszerű csekket letöltött fájlok metaadatok.

Mi az új verzióban 1.6.19:

• Jelentős változásokat vezettek be a metalogger gép és metarestore Szerszám jobb integritását a metaadatok.
• A szkennelés progress bar a CS adtunk.
• A mester a név már megoldódott, amikor a kapcsolat nem jön létre.
• Egy új munkamenet jön létre, ha az előző már elveszett.
• Sok egyéb hibajavítások és fejlesztések történtek.

Mi az új verzióban 1.6.17:

• Ebben a verzióban bevezettük az automatikus adatfeldolgozó cache menedzsment .
• Elég frissíteni csak a master szerver (nincs változás az harapnak szerverek és ügyfelei, kód készültek).
• A kernel cache mechanizmus mindig is létezett, de eddig a cache-t mindig törlődik fel egy fájl megnyitásakor. Most MooseFS vezérli, hogy törölje-e vagy sem ellenőrzi, ha a fájl vagy nem módosítottak egy másik ügyfél. Nézzünk néhány forgatókönyvet.
• Első forgatókönyv:
• 1. Számítógép A beolvassa a fájlt X
• 2. Számítógép B beolvassa a fájlt X
• 3. Számítógép egy akar olvasni a fájlt X - elhagyjuk a cache (a fájl nem változott)
• A második forgatókönyv:
• 1. Számítógép A beolvassa a fájlt X
• 2. Számítógép A ír a fájlba X
• 3. Számítógép egy akar tor olvasni a fájlt X - elhagyjuk a cache (a fájl megváltozott, de számítógép A ismeri ezeket a változtatásokat)
• A harmadik forgatókönyv:
• 1. Számítógép A beolvassa a fájlt X
• 2. Számítógép B írja, hogy a fájl X
• 3. Számítógép egy akar olvasni a fájlt X - itt meg kell kényszeríteni, hogy üres a cache (mert változások történtek a Computer B és számítógépes A nem tudni róluk)
• A valós környezetben első és a második forgatókönyv történhet sokkal gyakrabban, mint a harmadik forgatókönyv, és ezért célszerű elhagyni a tartalmát a cache, és átveheti a teljes rendszer teljesítményét.
• Természetesen van néhány közepes forgatókönyv (de ők is létezett), mint ez:
• 1. Számítógép A megnyílik az X fájl, és olvasni kezdi meg teljesen (a fájl marad cache)
• 2. Számítógép B módosítja a fájlt X
• 3. Computer meg ismét beolvassa a fájlt X (de nem akarjuk befejezni, vagy megnyitja, így - csak a mozgó pozíció 0 és újraolvastam meg)
• Ebben a helyzetben Computer A kapnánk ugyanazt az adatot, mint az 1. lépésben, de ugyanez történt MooseFS előtt.
• Egy attribútum nodatacache is bevezetésre került, amely megtiltja a cache-fájl. Verziótól kezdve 1.6.17 fel fájlokat nodatacache attribútum viselkednek fájlok tette a régebbi MooseFS. Ez a zászló használható eszközök mfsseteattr, mfsdeleattr és mfsgeteattr.
• Ez a jelző hozzá preventív és valószínűleg akkor nem kell használni. Ha egy idő után úgy tűnik, hogy ez tényleg használhatatlan, akkor törlésre kerül. De ha talál olyan esetben / forgatókönyv, amely követeli kikapcsolni az automatikus cache mechanizmus kérem ossza meg velünk.