MooseFS

MooseFS is een fault tolerant, netwerk gedistribueerd bestandssysteem dat de gegevens verspreidt over meerdere fysieke servers die zichtbaar zijn voor de gebruiker als een resource & nbsp zijn; Voor standaard bestands operaties MooseFS fungeert als andere Unix-achtige bestandssystemen.:
& Nbsp; * Een hiërarchische structuur (directory tree)
& Nbsp; * Winkels POSIX bestandskenmerken (permissies, laatste toegang en wijziging keer)
& Nbsp; * Ondersteunt speciale bestanden (block en character devices, leidingen en stopcontacten)
& Nbsp; * Symbolische links (bestandsnamen verwijzen naar bestanden, niet per se op MooseFS richten) en harde banden (verschillende namen van bestanden die verwijzen naar dezelfde gegevens op MooseFS)
& Nbsp; * Toegang tot het bestandssysteem kan worden beperkt op basis van IP-adres en / of wachtwoord
Onderscheidende kenmerken van MooseFS zijn:
& Nbsp; * Hoge betrouwbaarheid (meerdere kopieën van de gegevens kunnen worden opgeslagen op verschillende computers)
& Nbsp; * Capaciteit is dynamisch uitbreidbaar door het aanbrengen van nieuwe computers / schijven
& Nbsp; * Verwijderde bestanden worden bewaard voor een instelbare tijd (een bestandssysteem niveau "prullenbak")
& Nbsp; * Coherente snapshots van bestanden, zelfs terwijl het bestand wordt geschreven / benaderd
MooseFS bestaat uit vier componenten:
& Nbsp; * Managing server (master server) & ndash; een enkele machine die het volledige bestandssysteem, het opslaan van metagegevens voor elk bestand (informatie over grootte, attributen en file locatie (s), met inbegrip van alle informatie over de niet-reguliere bestanden, dwz directories, stopcontacten, leidingen en apparaten).
& Nbsp; * Gegevens servers (brok servers) - onbeperkt aantal grondstoffen servers opslaan van bestanden gegevens te bewaren en te synchroniseren onder elkaar (als een bepaald bestand wordt verondersteld te bestaan ​​in meer dan één exemplaar).
& Nbsp; * Metadata backup server (s) (metalogger server) - onbeperkt aantal servers, die allemaal op te slaan metadata changelogs en periodiek downloaden van de belangrijkste metadata-bestand; zodat deze servers te bevorderen in de de rol van de Raad van server als primary master stopt met werken.
& Nbsp; * Client computers die toegang (mount) de bestanden in MooseFS - elk aantal machines met behulp van mfsmount proces om te communiceren met het beheer van server (om te ontvangen en te wijzigen bestand metadata) en met chunkservers (tot werkelijke bestand gegevens uit te wisselen).
mfsmount is gebaseerd op de FUSE-mechanisme (Filesystem in userspace), dus MooseFS is beschikbaar op elk besturingssysteem met een werkende FUSE implementatie (Linux, FreeBSD, MacOS X, enz.)
Metadata wordt opgeslagen in het geheugen van de beherende server en tegelijkertijd opgeslagen op de harde schijf (als een periodiek bijgewerkt binair bestand en onmiddellijk bijgewerkt incrementele logs). De belangrijkste binair bestand als de logs worden gesynchroniseerd met de metaloggers (indien aanwezig).
Bestandsgegevens verdeeld in fragmenten (stukjes) met een maximum van 64MiB elk. Elk stuk is zelf een bestand op geselecteerde schijven op dataservers (chunkservers).
Hoge betrouwbaarheid wordt bereikt door het configureren van zo veel mogelijk verschillende data servers zover nodig voor het "doel" waarde te realiseren (aantal exemplaren te houden) in te stellen voor het opgegeven bestand.
hoe het systeem werkt
Alle bestanden bewerkingen op een client-computer die MooseFS heeft gemonteerd zijn precies hetzelfde als ze met andere bestandssystemen zou zijn. De kernel van het besturingssysteem overdraagt ​​alle bestands operaties aan de FUSE module, die communiceert met de mfsmount proces. De mfsmount proces communiceert via het netwerk vervolgens met het beheren van de server en data servers (brok servers). Dit hele proces is volledig transparant voor de gebruiker.
mfsmount communiceert met het beheer van de server elke keer een operatie aan bestand metadata vereist:
& Nbsp; * het maken van bestanden
& Nbsp; * het verwijderen van bestanden
& Nbsp; * lezen directories
& Nbsp; * het lezen en wijzigen van attributen
& Nbsp; * veranderende bestandsgroottes
& Nbsp; * aan het begin van het lezen of schrijven van gegevens
& Nbsp; * op elke toegang tot speciale bestanden op MFSMETA
mfsmount gebruikt een directe verbinding met de dataserver (brok server) de desbetreffende stuk van een bestand opslaat. Bij het schrijven van een bestand, na het beëindigen van het schrijfproces het beheren van de server ontvangt informatie van mfsmount op lengte van een bestand en de laatste wijziging tijd bijwerken.
Bovendien data servers (brok servers) met elkaar te repliceren teneinde het juiste aantal exemplaren van een bestand op verschillende machines bereiken.
& Nbsp;
fouttolerantie
& Nbsp;
Administratieve opdrachten kan de systeembeheerder om de "doel", of het aantal kopieën dat moet worden gehandhaafd, op een per-directory of per-bestand op te geven. Het doel meer dan een data-server instellen om meer dan één en dat zal fouttolerantie. Wanneer het bestand worden opgeslagen in vele exemplaren (op meerdere dataserver), het systeem storingsbestendiger of tijdelijke netwerk uitval van een dataserver.
Dit is natuurlijk niet naar bestanden met de "doel" ingesteld op 1, waarbij het bestand alleen bestaan ​​op een gegevensserver ongeacht hoeveel data servers worden geïmplementeerd in het systeem.
Buitengewoon belangrijke bestanden kunnen hebben hun doel te stellen om een ​​aantal van meer dan twee, waardoor deze bestanden naar bestand tegen een afbraak van meer dan één server tegelijk zijn.
In het algemeen moet de instelling voor het aantal exemplaren beschikbaar één meer dan het verwachte aantal ontoegankelijke of out-of-order-servers zijn.
In het geval een enkelvoudig dataserver een fout optreedt of afsluiting van het netwerk, de bestanden daarin ten minste twee kopieën had, toegankelijk vanaf een andere dataserver blijven. De gegevens die nu 'onder haar doel zal worden gerepliceerd op een andere toegankelijke data server weer de vereiste aantal exemplaren.
Opgemerkt wordt dat indien het aantal beschikbare servers lager is dan het "doel" voor een bepaald bestand, het vereiste aantal kopieën kan niet worden bewaard. Ook als er evenveel servers als de huidig ​​ingestelde doel en als een dataserver bereikt 100% van zijn capaciteit, zal zij niet zijn te beginnen met een kopie van een bestand dat nu onder de drempel doel aan een andere houden data server offline gaat. In deze gevallen dient een nieuwe dataserver zo spoedig mogelijk worden aangesloten op het systeem om het gewenste aantal kopieën van het bestand behouden.
Een nieuwe data server kunnen worden aangesloten op het systeem op elk moment. De nieuwe capaciteit zal onmiddellijk beschikbaar voor gebruik om nieuwe bestanden op te slaan of om gerepliceerde kopieën van bestanden van andere data servers te houden geworden.
Administratieve nutsbedrijven bestaan ​​om de status van de bestanden in het bestandssysteem te vragen om te bepalen of een van de bestanden die momenteel onder hun doel (set aantal exemplaren). Dit programma kan ook worden gebruikt voor het doel instelling te wijzigen.
De gegevens opgeslagen fragmenten in de brokken versiebeheer, dus opnieuw aansluiten van een dataserver met oudere kopie van gegevens (bijvoorbeeld als offline was gedurende een tijdsperiode), niet zal de bestanden incoherent worden. De gegevensserver zal zich synchroniseren met de huidige versies van de stukken, waarbij de verouderde stukken verwijderd en de vrije ruimte worden toegewezen aan de nieuwe brokken houden houden.
Mislukkingen van een client machine (dat de mfsmount proces draait) zal geen invloed hebben op de samenhang van het bestandssysteem of op de activiteiten van de andere cliënt te hebben. In het ergste geval de gegevens die nog niet verzonden door de mislukte clientcomputer verloren.
& Nbsp;
PLATFORMEN
& Nbsp; MooseFS is beschikbaar op elk besturingssysteem met een werkende FUSE implementatie:
& Nbsp; * Linux (Linux 2.6.14 en hoger hebben FUSE ondersteuning opgenomen in de officiële kernel)
& Nbsp; * FreeBSD
& Nbsp; * OpenSolaris
& Nbsp; * MacOS X
De master server, metalogger server en chunkservers kan ook worden uitgevoerd op Solaris of Windows met Cygwin. Helaas zonder FUSE zal het niet mogelijk zijn om het bestandssysteem binnen deze besturingssystemen mount

Wat is nieuw in deze release:.

< li> De belangrijkste veranderingen zijn vaste signaalverwerking in multithreaded modules, doel en trashtime grenzen in mfsexport.cfg, en een eenvoudige controle te gedownload metadata bestanden.

Wat is nieuw in versie 1.6.19:

• Belangrijke wijzigingen werden ingevoerd om de metalogger machine en metarestore hulpmiddel voor een betere integriteit van de metadata.
• Een scan voortgangsbalk in CS werd toegevoegd.
• De master naam is nu opgelost wanneer een verbinding uitvalt.
• Een nieuwe sessie wordt gemaakt wanneer de vorige is verloren.
• Veel andere bug fixes en verbeteringen doorgevoerd.

Wat is nieuw in versie 1.6.17:

• In deze release een automatische data cache beheer geïntroduceerd we .
• Het is voldoende om alleen de master-server (geen veranderingen in brok servers's of cliënten code werden gemaakt) te upgraden.
• De kernel cache mechanisme altijd heeft bestaan, maar tot nu toe de cache altijd bij het openen van een bestand is gewist. Nu MooseFS controleert of u het of niet duidelijk door te controleren of het bestand wel of niet gewijzigd door een andere klant. Laten we eens kijken naar een aantal scenario's.
• Eerste scenario:
• 1. Computer A leest het bestand X
• 2. Computer B leest het bestand X
• 3. Computer A wil het bestand X lezen - verlaten we de cache (het bestand is niet gewijzigd)
• Tweede scenario:
• 1. Computer A leest het bestand X
• 2. Computer A schrijft om het bestand X
• 3. Computer A wil tor lees het bestand X - verlaten we de cache (het bestand is veranderd, maar de computer A weet over deze wijzigingen)
• Derde scenario:
• 1. Computer A leest het bestand X
• 2. Computer B schrijft om het bestand X
• 3. Computer A wil lezen het bestand X - hier hebben we te dwingen om de cache te legen (omdat veranderingen werden gemaakt door computer B en Computer A niet weten over hen)
• In het echte omgevingen eerste en tweede scenario gebeuren veel vaker dan derde scenario en dat is waarom het redelijk is om de inhoud van de cache te verlaten en krijgen de algehele prestaties van het systeem.
• Natuurlijk zijn er een aantal gemiddelde scenario's (maar ze vóór bestond ook) zoals deze:
• 1. Computer A opent bestand X en leest het volledig (het bestand blijft in cache)
• 2. Computer B wijzigt het bestand X
• 3. Computer A weer leest het bestand X (maar zonder het te sluiten of opnieuw te openen - net bewegen op positie 0 en herlezen het)
• In deze situatie zou de computer A dezelfde gegevens te krijgen als in stap 1, maar hetzelfde gebeurde ook in MooseFS tevoren.
• Een attribuut nodatacache werd ook ingevoerd die verbiedt om een ​​bestand te cachen. Vanaf versie 1.6.17-up van bestanden met nodatacache attribuut gedragen als bestanden deed in oudere versies van MooseFS. Deze vlag kan worden gebruikt met gereedschappen mfsseteattr, mfsdeleattr en mfsgeteattr.
• Deze vlag werd preventief toegevoegd en waarschijnlijk zul je niet nodig hebt om het te gebruiken. Als na enige tijd blijkt dat dit echt is nutteloos het zal worden verwijderd. Maar als u een case / scenario dat vraagt ​​om de automatische cache mechanisme uitschakelen vinden Deel deze met ons.