S3QL

S3QL támogatja az Amazon S3, valamint az önkényes SFTP szerverek és hatékonyan biztosítja az Ön számára a merevlemez dinamikus, végtelen kapacitású, amely elérhető bármely számítógép internet-hozzáféréssel.
S3QL van, hogy egy szabványos, teljes funkcionalitású UNIX fájlrendszer, ami koncepcióját megkülönböztethetetlen a helyi fájlrendszer. Továbbá, S3QL további funkciók, mint a tömörítés, titkosítás, adatduplikáció-, megváltoztathatatlan fák és pillanatfelvételek készítésére, amelyek különösen alkalmassá online biztonsági mentési és archiválási.
S3QL célja, hogy előnyben egyszerűség és az elegancia feletti teljesítmény és szolgáltatás-kúszás. Nagy figyelmet fordítottak arra, hogy a forráskód olvasható és működőképes legyen. Solid hibakeresés és hibakezelés bekerültek már az első sorban, és S3QL egy kiterjedt automatizált teszt esetek valamennyi elemének.
Mielőtt a fájlrendszer lehet szerelni, a backend, amely tartalmazza majd az adatokat kell inicializálni. Ezt a mkfs.s3ql parancsot. Itt mi használ az Amazon S3 backend, és nikratio-s3ql-vödröt a S3 vödröt, amelyben a fájlrendszer fogják tárolni.
mkfs.s3ql s3: // nikratio-s3ql-vödör
Hogy felmászik a S3QL fájlrendszer tárolt S3 vödör nikratio_s3ql_bucket a / mnt / s3ql adja:
mount.s3ql s3: // nikratio-s3ql-vödör / mnt / s3ql
Most akkor utasíthatja kedvenc backup program fut a mentés át az / mnt / s3ql, és az adatokat tárolni egy Amazon S3. Ha készen vagyunk, a fájlrendszeren van a lecsatolható az
umount.s3ql / mnt / s3ql

Tulajdonságok :

• Transparency. Fogalmi, S3QL megkülönböztethetetlen egy helyi fájlrendszerben. Például, hogy támogatja hardlink, symlinks, teljes Unix-engedélyek, kiterjesztett attribútumok és a fájl mérete maximum 2 TB.
• Dynamic Size. A méret egy S3QL fájlrendszer növekszik és csökken dinamikusan szükség.
• Compression. A tárolás előtt minden adat tömörített a LZMA, BZIP2 vagy LZ algoritmust.
• Titkosítás. Tömörítés után (de feltöltés előtt), minden adat titkosítható 256 bites kulcsot. További SHA256 HMAC checksum védelmére használják az adatokat manipuláció ellen.
• adatduplikáció-. Ha több fájlt tartalma ugyanaz, a redundáns adatok kerülnek tárolásra csak egyszer. Ez működik mind tárolt fájlok a fájlrendszer, és akkor is, ha csak bizonyos részein a fájlok megegyeznek, míg más részei különböznek.
• Változatlan Trees. Könyvtárfákat lehet megváltoztathatatlan, hogy azok tartalma már nem lehet változtatni semmilyen módon. Ezt fel lehet használni annak biztosítására, hogy a mentések nem lehet módosítani, miután végrehajtották azokat.
• Copy-on-Write / pillanatfelvételek készítésére. S3QL képes lemásolni egész könyvtár használata nélkül további tárhelyet. Csak akkor, ha az egyik példány módosul, az adatok egy részét, amelyet úgy módosítottak felveszi további tárhelyet. Ez lehet használni, hogy az intelligens pillanatképek állapotának megőrzését a könyvtár különböző időpontokban segítségével a legkisebb helyen.
• High Performance független a hálózati késleltetés. Minden művelet, amely nem írni, olvasni fájl tartalmát (mint a könyvtárak létrehozása, illetve áthelyezésére, átnevezésére és engedélyeinek módosítása a fájlok és könyvtárak) nagyon gyorsan, mert ezek elvégzésének nélkül hálózati tranzakciók.
• S3QL éri ezt el, megmenti az egész fájl és könyvtár struktúrát egy adatbázisban. Ez az adatbázis helyileg tárolt és a távoli másolás frissített aszinkron.
• támogatni az alacsony sávszélességű kapcsolat. S3QL osztja fájl tartalma kisebb blokkok és cache blokk helyben. Ez minimalizálja a száma a hálózati adatforgalom szükséges adatok írása és olvasása, valamint az adatok mennyiségét kell átvinni, ha csak egy része a fájl olvasott és írt.

Mi az új ebben a kiadásban:

• Megpróbálja frissíteni a fájlrendszer, amely már a legújabb felülvizsgálata már nem teszi a helyi metaadat másolni használhatatlan.
• Google tároló vödör neveket tartalmazó pontok már nem okoz problémát SSL tanúsítvány érvényesítése.
• Javítva az összeomlás, mikor statvfs () hívása egy szinte teljesen üres fájlrendszert.
• Van egy új & quot; swiftks & quot; backend az OpenStack / Swift szerverek.
• Megszünteti a versenyhelyzet, ami a mount.s3ql összeomlik a & quot; KeyError gyűjteményekben / abc.py & quot;.
• Javítva az összeomlás, ami előfordulhat, ha megpróbálja megtisztítani, miután megkapta a kapcsolat vagy kiszolgáló feltöltése közben hiba történt egy tárgy.

Mi az új 2.2-es verzióban:

• S3QL most használja az SSL-kapcsolatokat alapértelmezés szerint ellenőrzi szerver tanúsítványok.
• A verseny feltétele, hogy ezáltal az egy nyilvánvaló csökkenése távoli metaadatok rögzítették.
• A S3 backend most törli több tároló használati tárgyakat egy kérésem, ha lehetséges, csökkentésére látencia, a forgalom, és a kérelmek száma az S3.
• S3QL már képes felismerni szerver hibák és átirányítás előtt minden adatot küldött a szerverre.
• Egy új, "Rackspace" backend, amely lehetővé teszi specifikáció az objektum tárolási régióban a tároló URL-t hozzá.
• A mount.s3ql --compress lehetőség most lehetővé teszi specifikációja a tömörítési szintet.

Mi az új verzióban 1,15:

• Kerékpár metaadatok mentések használata esetén a helyi backend már lényegesebben kevesebb idő alatt.
• Ez már nem szükséges, hogy S3QL és Python APSW kapcsolódik ugyanahhoz SQLite megosztott könyvtár.
• A mount.s3ql, a program összeomlik a --metadata-upload-intervallumot 0 rögzítették.
• Ahelyett, hogy teljesen leválasztása a fájlrendszer (és így a csatolási pont elérhetetlen), amikor backend adat hiányzik vagy sérült, S3QL teremteni hibát ad vissza, és átvált csak olvasható működését.

Mi az új verzióban 1,13:

• Ez a változat rögzíti a hiba, ami miatt hibás metaadatok írandó out használata során elmúlt eglibc verzió.
• Az hibákat javít, amikor megpróbál hozzáférni a könyvtár, a fájlrendszer gyökere, hogy a közelmúltban eltávolítani s3qlrm.
• látszólagos ACL támogatás eltávolításra került.
• Ez a kiadás jobban kezeli vödrök érvénytelen DNS nevét.
• Ez lesz újra, ha a DNS nem elérhető.

Mi az új verzióban 1.11.1:

• Ez a változat rögzíti a összeomlik, ha a S3 backend (regressziós bevezetett kiadás 1,11), növeli a minimális jelentett fájlrendszer méretét, hogy 1 TB, és egyben a df bug, így mérete tűnik megfelelő.

Mi az új verzióban 1.11:

• metaadatokat tárolt objektumok most oszlik több területen, így Nem mező hosszabb, mint 256 bájt. (Ez teszi S3QL kompatibilis szélesebb körű raktározóknak.) A SWIFT backend most újra próbálkozik, ha megkapja 5xx hibakódok a távoli szerverről, és többé nem fagy le, amikor megpróbáljuk feltölteni az adatokat egy lejárt auth token.

Mi az új a 1.10 verzió:

• A s3s, s3cs, valamint GSS backends eltávolították. Használja az új --ssl opciót együtt S3, S3C, és gs backends helyett.
• S3QL már nem követi nyomon a következetesség garanciák különböző háttereket.
• A növekvő számú különböző tárolási szolgáltató kínál különböző régiókban, redundancia és a rendelkezésre álló szintek miatt ez nem kivitelezhető.
• A használati útmutató tartalmaz egy új szakasz, & quot; Fontos szabályok Az adatvesztés elkerülése érdekében & quot;.
• Reading erősen ajánlott.

Mi az új a 1.9-es verzió:

• Ez a változat teszi fájlt alkalommal már nem változnak, ha változik a rendszer időzóna, javítások és javítja contrib / benchmark.p, rögzíti a & quot; Túl sok láncolva redirections & quot; bug, próbálkozik a 5xx szerver hibák, és hozzáteszi, kísérleti natív támogatást OpenStack / SWIFT szerverek és kísérleti proxy támogatás.

Mi az új a 1.8 verzió:

• A & quot; ValueError: Nem kiírása NULL értékeket & quot; összeomlik, ha a fájl rendszer metaadat került feltöltésre során nehéz fájlrendszer aktivitást rögzítették.
• s3qlcp és könyvtárlistában teljesítménye nagyon nagy könyvtárak javultak.
• Egy rm teljesítmény regressziós rögzítették.
• - blocksize átnevezték --max-obj méretű.
• Néhány összeomlik, ami történt alatt erősen párhuzamos fájlrendszer használata rögzítették.
• python-llfuse 0,37 használják már.

korlátai :

• Vannak még bőven hibákat a kódot, és akkor készen kell állnia foglalkozni őket. Ennek ellenére lehet ésszerűen abban, hogy a hibákat (bár kellemetlen) nem veszélyezteti a tárolt adatok.