S3QL

S3QL ondersteunt Amazon S3 evenals willekeurige SFTP servers en effectief biedt u een harde schijf van dynamische, oneindige capaciteit die kan worden geraadpleegd vanaf elke computer met internettoegang.
S3QL is het verstrekken van een standaard, full featured UNIX-bestandssysteem dat is conceptueel te onderscheiden van een lokale bestandssysteem. Verder S3QL heeft extra functies, zoals compressie, encryptie, data de-duplicatie, onveranderlijke bomen en snapshotting waardoor het bijzonder geschikt voor online back-up en archivering te maken.
S3QL is ontworpen voor eenvoud en elegantie over de prestaties en feature-kruip bevoordelen. Zorg is genomen om de broncode zo leesbaar en bruikbaar mogelijk te maken. Solide foutdetectie en foutafhandeling zijn opgenomen vanaf de eerste lijn, en S3QL geleverd met uitgebreide geautomatiseerde testcases voor al haar onderdelen.
Voordat een bestand systeem kan worden gemonteerd, de backend die de gegevens zal houden moet worden geïnitialiseerd. Dit wordt gedaan met de mkfs.s3ql commando. Hier zijn we met behulp van de Amazon S3 backend, en nikratio-s3ql-emmer is de S3 emmer waarin het bestandssysteem worden opgeslagen.
mkfs.s3ql s3: // nikratio-s3ql-bucket
Om de S3QL bestandssysteem opgeslagen in de S3 emmer nikratio_s3ql_bucket in de directory / mnt / s3ql monteren, voert:
mount.s3ql s3: // nikratio-s3ql-emmer / mnt / s3ql
Nu kunt u uw favoriete back-up programma om een ​​back-up in de map / mnt / s3ql lopen instrueren en de gegevens worden opgeslagen een Amazon S3. Wanneer u klaar bent, het bestandssysteem moet worden ontkoppeld met
umount.s3ql / mnt / s3ql

Kenmerken

• Transparantie. Conceptueel, S3QL is niet te onderscheiden van een lokale bestandssysteem. Bijvoorbeeld, het ondersteunt hardlinks, symlinks, volledige Unix permissies, uitgebreide kenmerken en de omvang van bestanden tot 2 TB.
• Dynamic Maat. De grootte van een S3QL bestandssysteem groeit en krimpt dynamisch vereiste.
• Compressie. Voor de opslag, kunnen alle gegevens gecomprimeerd met de LZMA, BZIP2 of LZ algoritme.
• Codering. Na compressie (maar voordat upload), kunnen alle gegevens AES versleuteld met een 256 bit sleutel. Een extra SHA256 HMAC controlesom wordt gebruikt om de gegevens te beschermen tegen manipulatie.
• data de-duplicatie. Als er meerdere bestanden hebben dezelfde inhoud, zal de redundante gegevens slechts één keer worden opgeslagen. Dit werkt in alle bestanden die zijn opgeslagen in het bestandssysteem, en ook al is het maar enkele delen van de bestanden zijn identiek, terwijl andere delen van elkaar verschillen.
• onveranderlijk Bomen. Directory bomen kunnen onveranderlijk gemaakt worden, zodat de inhoud niet meer enkele wijze kan worden veranderd. Dit kan worden gebruikt om te garanderen dat files niet kunnen worden gewijzigd nadat ze zijn gemaakt.
• Copy-on-Write / Snapshotting. S3QL kan gehele index bomen repliceren zonder gebruik van een extra bergruimte. Alleen als een van de kopieën wordt gewijzigd, het deel van de data die is gewijzigd zal nemen extra opslagruimte. Dit kan worden gebruikt om intelligente snapshots dat de toestand van een directory op verschillende punten behouden in de tijd met een minimale hoeveelheid ruimte.
• High Performance onafhankelijk van het netwerk latency. Alle activiteiten die niet schrijven of lezen de inhoud van bestanden (zoals het maken van mappen of verplaatsen, hernoemen, en het veranderen van permissies van bestanden en mappen) zijn zeer snel omdat ze zonder enige netwerk transacties worden uitgevoerd.
• S3QL bereikt dit door het opslaan van het hele bestand en directory structuur in een database. Deze database wordt lokaal in de cache en de remote copy asynchroon bijgewerkt.
• Ondersteuning voor verbindingen met een lage bandbreedte. S3QL splitst inhoud van het bestand in kleinere blokken en caches blokken lokaal. Dit minimaliseert zowel het aantal netwerk transacties nodig voor het lezen en schrijven van gegevens en de hoeveelheid gegevens die moet worden overgedragen wanneer slechts delen van een bestand worden gelezen of geschreven.

Wat is nieuw in deze release:

• Pogingen om een ​​bestandssysteem dat is al op de nieuwste revisie upgraden niet meer te maken van de lokale metadata kopiëren onbruikbaar.
• Google opslag emmer namen met stippen niet langer problemen met de SSL-certificaat validatie veroorzaken.
• Fixes een crash bij statvfs () wordt aangeroepen op een bijna lege bestandssysteem.
• Er is een nieuw & quot; swiftks & quot; backend voor OpenStack / Swift-servers.
• Maakt een race aandoening die kan leiden tot mount.s3ql crashen met een & quot; KeyError in collecties / abc.py & quot;.
• Fixes een crash die kunnen optreden wanneer het proberen op te ruimen na het ontvangen van een verbinding of server error bij het uploaden van een object.

Wat is nieuw in versie 2.2:

• S3QL maakt nu gebruik van SSL-verbindingen standaard en verifieert servercertificaten.
• Een race voorwaarde dat resulteerde in een duidelijk verlies van externe metadata werd vastgesteld.
• De S3 backend verwijdert nu meerdere opslag objecten met behulp van een aanvraag, indien mogelijk, het verminderen van latency, verkeer, en het aantal verzoeken om S3.
• S3QL is nu in staat om de server fouten en omleidingen te sporen voordat alle gegevens zijn verzonden naar de server.
• Een nieuwe 'rackspace' backend die specificatie van de opslag object regio in de opslag URL laat werd toegevoegd.
• De mount.s3ql --compress optie kunt nu specificatie van het compressieniveau.

Wat is nieuw in versie 1.15:

• Fietsen van metadata backups bij gebruik van de lokale backend nu duurt veel minder tijd.
• Het is niet langer nodig dat S3QL en Python APSW worden gekoppeld aan dezelfde SQLite gedeelde bibliotheek.
• In mount.s3ql, een crash bij het gebruik van --metadata-upload-interval 0 is vastgesteld.
• In plaats van volledig ontkoppelen van het bestandssysteem (en het verlaten van het mountpoint ontoegankelijk) als backend data is beschadigd of ontbreekt, S3QL keert nu een fout en schakelt over op alleen-lezen operatie.

Wat is nieuw in versie 1.13:

• Deze versie lost een bug die ervoor zorgde dat misvormde metadata worden geschreven uit bij het gebruik van recente eglibc versies.
• Het lost problemen op bij het openen van een map in de root van het bestandssysteem dat onlangs is verwijderd met s3qlrm.
• ogenschijnlijke ACL-ondersteuning is verwijderd.
• In deze release beter handvatten emmers met ongeldige DNS-namen.
• Het zal opnieuw proberen als DNS niet beschikbaar is.

Wat is nieuw in versie 1.11.1:

• Deze versie lost een crash bij het gebruik van de S3 backend (regressie geïntroduceerd in versie 1.11), verhoogt de minimale gemeld bestandssysteemgrootte tot 1 TB, en werkt rond een df bug zo groot goed is gemeld.

Wat is nieuw in versie 1.11:

• Metadata over opgeslagen objecten is nu opgesplitst in meerdere velden, zodat geen veld meer dan 256 bytes. (Dit maakt S3QL compatibel met een breder scala aan opslagcapaciteit.) De SWIFT backend retries nu als het ontvangt 5xx fout codes van de remote server, en niet langer mislukt wanneer u probeert gegevens met een verlopen authenticatietoken uploaden.

Wat is nieuw in versie 1.10:

• hebben De s3s, s3cs en GSS backends zijn verwijderd. Gebruik de nieuwe --ssl optie samen met de s3, S3C en gs backends plaats.
• S3QL niet meer houdt van consistentie garanties voor de verschillende backends.
• Het toenemende aantal verschillende storage providers bieden verschillende regio's, redundantie en beschikbaarheid levels maakt dit niet langer haalbaar is.
• De gebruikershandleiding bevat een nieuwe sectie, & quot; belangrijke regels om te voorkomen dat gegevens & quot;.
• Het lezen is het sterk aanbevolen.

Wat is nieuw in versie 1.9:

• Deze versie maakt het bestand tijden niet meer veranderen als het veranderen van het systeem tijdzone, fixes en verbetert contrib / benchmark.p, lost de & quot; Te veel geketend omleidingen & quot; bug, retries op 5xx server fouten, en voegt experimentele native ondersteuning voor OpenStack / SWIFT servers en experimentele proxy-ondersteuning.

Wat is nieuw in versie 1.8:

• A & quot; ValueError: Kan niet NULL waarden & quot dumpen; crash bij het bestandssysteem metadata tijdens zware bestandssysteem activiteit werd vastgesteld werd geupload.
• s3qlcp en directory listing prestaties voor zeer grote directories werden verbeterd.
• Een rm prestaties regressie werd vastgesteld.
• -. Blocksize werd omgedoopt tot --max-obj-size
• Een aantal crashes dat gebeurde onder zwaar gelijktijdige gebruik bestandssysteem werden vastgesteld.
• python-llfuse 0,37 wordt nu gebruikt.

Beperkingen

• Er zijn nog genoeg bugs in de code en je moet bereid zijn om te gaan met zijn ze. Toch kunt u er redelijk zeker van dat de bugs (hoewel lastig) niet uw opgeslagen gegevens in gevaar zal brengen.