Rocks Cluster

Rocks Cluster is een open source project dat gebruikers voorziet van een Linux-distributie gebaseerd op de CentOS besturingssysteem en ontworpen vanaf de grond tot een zeer complete cluster op een CD-oplossing voor Red Hat Linux-clusters bieden.
Voorheen bekend als NPACI Rocks Cluster Tool Kit, de distributie kan iedereen eenvoudig en snel bouwde een Rocks cluster. Het maakt het ook ervaren gebruikers om computationele clusters te bouwen, visualisatie betegelde-scherm muren, en grid endpoints.Based op CentOSBeing gebaseerd op de CentOS Linux distributie, die op zijn beurt gebaseerd is op de Red Hat Enterprise Linux-besturingssysteem, de Rocks Cluster distro biedt een krachtige, stabiele en betrouwbare enterprise-ready systeem dat een unieke en eenvoudige installatie is voorzien.
Het wordt geleverd met alle benodigde tools voor het beheer van clusters, zoals PBS, GM steun, Maui, Ganglia, en nog veel meer. Je zult in staat zijn te implementeren, upgraden, schaal en clusters te beheren zonder veel gedoe. Op dit moment is alleen de 64-bit (x86_64) architectuur supported.Getting begon met Rocks clusterin om bouwde een rekencluster, zou moeten gebruikers een kale cluster te maken, starten hun front-end met de kernel / Boot roll en voeg de basis Roll, OS Roll Disk 1, OS Roll Disk 2 en OS Disk 3 ISO images. Voor complete clusters, moet u ook voeg de Area51, SGE, Ganglia, HPC, Python, Perl, en web-server rollen.
Aan de andere kant, degenen onder u die willen een aangepaste cluster bouwen moet kiezen van Rocks Cluster's a la carte selectie en het downloaden van de Base en Kernel / Boot broodjes, evenals alle van het besturingssysteem rolls.Bottom lineAll met al, Rocks Cluster is een CentOS-gebaseerde enterprise-ready Linux-distributie gebruikt door honderden onderzoekers wereldwijd om hun eigen cluster installeren. Het is een uniek besturingssysteem aangedreven door een overvloed van open source technologieën en ontworpen om gemakkelijk hanteerbaar clusters implementeren

Wat is nieuw in deze release:.

< ul>

Wat is nieuw in versie 6.1.1:

• De nieuwste update van Rocks Codename Sand Boa is nu vrijgegeven. Sand Boa is een 64-bits alleen vrij te geven en is gebaseerd op CentOS 6.5 The Rocks-geleverde OS rollen hebben alle updates toegepast vanaf 14 april 2014. Dit is inclusief updates voor de OpenSSL Heartbleed.
• Ondersteuning voor ZFS is bijgewerkt naar versie 0.6.2. Condor is nu de HTCondor roll is op vrijlating 8.0.6
• Ook inbegrepen is een nieuwe rol genaamd vingerafdruk die dynamisch bepaalt afhankelijkheden van gecompileerde code op zowel Rocks en Non-Rocks systemen.

Wat is nieuw in versie 5.4:

• Nieuwe functies:
• Redesign van de Avalanche Installer.
• Met inachtneming van de prestaties van de Avalanche installateur de 1000-knooppunt machine, werd het duidelijk dat we evenveel verkeer naar de frontend mogelijk moeten beperken. Dit leidde tot de vervanging van de python BitTorrent-gebaseerde installer met een BitTorrent-geïnspireerde installer geschreven in C. De C-code stelt ons in staat om meer bestanden in de peer-to-peer-netwerk, met name gezet: product.img (160KB), stage2. img (108MB) en updates.img (98 MB).
• Om het verkeer verder te verlagen om de frontend, de frontend verzendt nu pakket voorspellingen voor het installeren van knooppunten. Wanneer een knooppunt vraagt ​​voor een pakket, de tracker op de frontend stuurt een lijst van knooppunt adressen waar dat pakket kan worden gevonden, plus een lijst van de volgende 9 pakketten die knooppunt zal waarschijnlijk vragen om de volgende. Wanneer soortgelijke toestellen gelijktijdig installeert, vermindert dit tracker verkeer van 10x.
• Het installeren van nodes kunnen worden gegroepeerd. Wanneer een installatie knooppunt verzoekt de tracker voor de locatie van een pakket en als andere knooppunten tegelijkertijd installeren, wordt de tracker voorkeur knooppunten die in dezelfde groep als de verzoekende knooppunt dat wil zeggen de lijst de tracker stuurt naar het installeren knooppunt zal knooppunten uit dezelfde groep als de installatie knooppunt bovenaan de lijst. De standaard groepering is door het rek, maar het kan worden gecontroleerd door de & quot; coop & quot; toeschrijven. Bijvoorbeeld, als je zou willen alle knooppunten van rack 0 1 in dezelfde groep te zetten en rek (genaamd & quot; red & quot;), zou je uitvoeren: & quot; rotsen ingesteld gastheer attr rack0 rack1 coop rode & quot;
.
• Men kan meerdere trackers en meerdere & quot opgeven; pakket servers & quot ;. Een pakket server is een knooppunt dat is & quot; gegarandeerd & quot; om het bestand (bv, de frontend).
• Voor elke gedownloade bestand, een MD5 checksum verificatie wordt uitgevoerd. Deze detecteert het geval waar een peer een bestand kan zijn beschadigd en voorkomt dat het beschadigde bestand uit te spreiden in de peer-to-peer netwerk.
• Channel bonding voor knooppunten wordt nu gecontroleerd door de Rocks opdrachtregel.
• Kanaalverbinding configuratie van een knooppunt wordt opgeslagen in de database en kunnen worden toegevoegd, verwijderd of gewijzigd met Rocks opdrachtregel (bijvoorbeeld & quot; Rocks samen gebonden ... & quot;). Na channel bonding is geconfigureerd voor een knooppunt, het kan worden dynamisch door het uitvoeren van & quot toegepast; rotsen sync gastheer netwerk ... & quot;.
• firewall-regels Alle knooppunten 'worden gecontroleerd door de Rocks opdrachtregel.
• De regels voor alle knooppunten worden opgeslagen in de database en kunnen worden toegevoegd, verwijderd of gewijzigd met de Rocks command line (bijvoorbeeld & quot; rotsen geopend hostfirewall & quot ;, & quot; rotsen vlakbij hostfirewall & quot ;, & quot; rotsen te verwijderen hosten firewall & quot;). Na firewall-instellingen een knooppunt worden veranderd, kunnen ze worden toegepast op het knooppunt on-the-fly met & quot; rotsen sync hostfirewall 'hostname' & quot; (Deze opdracht wordt ook wel als de gebruiker uitvoert & quot; rotsen sync gastheer netwerk ... & quot;).
• Introductie van & quot; Air Traffic Control & quot;.

Airboss & quot;
• We hebben een dienst bekend als de & quot ontwikkeld; die zich op het fysieke frontend (in Dom0) en het staat niet-root gebruikers hun VM's te beheersen. De motivatie voor deze dienst is dat libvirt (een virtualisatie API geschreven door RedHat dat verschillende virtualisatie-implementaties kunnen controleren) neemt & quot; wortel & quot; toegang te controleren en bewaken VM.
• De Airboss in Rocks is een kleine dienst die digitaal ondertekende berichten gebruikt om te geven niet-root gebruikers toegang tot hun virtuele cluster (en alleen hun virtuele cluster). De Airboss vertrouwt op publieke / private sleutel paren om berichten te valideren. De beheerder van de fysieke hosting cluster moet een enkel commando te geven aan een publieke sleutel met een bepaalde virtuele cluster associëren. Op dat punt kan het volledige proces van het inschakelen, uitschakelen en het installeren van een virtuele cluster worden gecontroleerd door de (toegelaten) niet-root gebruiker.
• In aanvulling op VM power control, we hebben ook de mogelijkheid om te hechten aan de console van een VM's toegevoegd. Dit stelt gebruikers in staat om te zien de hele boot sequentie voor een VM vanaf de & quot; BIOS & quot; boot berichten.
• Verscheidene Rocks commando's werden toegevoegd aan deze functie ondersteunen: & quot; rotsen maken sleutels & quot; (Om publieke / private sleutel paren te maken), & quot; rotsen ingesteld gastheer macht & quot; (Aan de macht omhoog / omlaag VM en een VM, verwant aan PXE een fysieke machine opstarten met geweld te installeren), en & quot; rotsen geopend gastheer console & quot; (Te bevestigen aan de console van een VM's).
• & quot; greceptor & quot; vervangen door & quot; channeld & quot;.
• De draad protocol voor Ganglia berichten veranderd, die een grote revisie om greceptor vereist. We hebben de beslissing om een ​​eenvoudige-RPC-gebaseerde dienst te schrijven (met de naam 'channeld') over de verantwoordelijkheden van greceptor te nemen. Channeld accepteert 411-put verzoeken en handelt op hen door het gebruik van 411-get om bestanden te downloaden onder de controle van 411.
• Alle andere onderdelen van 411 ongewijzigd blijven, alleen de melding motor is verbeterd.
• DNS-resolutie voor meerdere domeinen.
• Het DNS naamgevingssysteem op de frontend ondersteunt nu meerdere zones, waarbij elk subnet beheerd door de frontend in een andere zone kan worden gebracht. De DNS-service kan worden in- of uitgeschakeld voor elke afzonderlijke zone.
• log apparaat ondersteuning.
• Een knooppunt kan worden geconfigureerd als een log apparaat. Standaard kan een log apparaat banen te leggen, maar het kan geen banen uit te voeren.
• Stel de naam van een gastheer op basis van de naam van een specifiek netwerk interface.
• De & quot; primary_net & quot; attribuut laat nodes hebben / bin / hostname set om de naam van een andere dan & quot netwerkinterface; private & quot ;. Dit is handig voor login of andere meerdere interface-apparaten.
• Gemakkelijk te wisselen 2 interfaces met één Rocks commando.
• Als u de instellingen van 2 interfaces wisselen, uitvoeren & quot; rotsen swap host-interface ... & quot;.
• Gemaakt van een GIT repository voor Rocks gerelateerde broncode.
• De gastheer & quot; git.rocksclusters.org & quot; is een GIT repository voor alle core Rocks code, UCSD Triton Resource code en Rocks contrib code.
• Verbeteringen:
• OS: Gebaseerd op CentOS los 5/5-update en alle updates vanaf 2 november 2010
.
• Base: Anaconda installateur bijgewerkt om v11.1.2.209
.
• Base: niet meer opnieuw toewijzen het private netwerk & quot; eth0 & quot ;, plaats Rocks houdt van het netwerk een knooppunt kickstarted van en kaarten dat netwerk naar de & quot; private & quot; netwerk. Bijvoorbeeld, als een knooppunt kickstarted off & quot; eth1 & quot ;, dan & quot; eth1 & quot; zullen worden toegewezen aan het private netwerk.
• Basis: gehard de Anaconda installateur om agressiever schrijf de grub configuratie bestanden op de opstartschijf. Dit helpt om het inperken van de & quot; hangen terwijl het proberen om Grub stage2 & quot te laden; kwestie.
• Base: verwijderd ext4 kernel module vanaf de installatie-omgeving. We vonden dat het proberen om een ​​swap partitie als een ext4-bestandssysteem mounten vaak veroorzaakt kernel panics tijdens installaties.
• Base: ksdevice = bootif toegevoegd aan alle PXE boot targets. Dit verbetert de installatie snelheid door hergebruik van het IP-adres / interface-informatie als een knooppunt PXE laarzen. Voorheen, een knooppunt zou re-scan alle Ethernet-interfaces.
• Base: wanneer een knooppunt XML-bestand bevat een syntaxisfout, & quot; lijst rotsen gastheer profiel & quot; prints uit de naam van het knooppunt XML-bestand en het regelnummer waar de syntax fout is opgetreden.
• Base: & quot; rotsen lopen gastheer & quot; paait nu meerdere parallelle threads wanneer meerdere hosts worden geleverd. Ook voegde de volgende parameters:. Timeout (! Dankzij Tim Carlson), vertraging, statistieken, sorteren en num-onderwerpen
• Base: yum configuratie standaard aangepast om te binden aan de frontend van de publieke IP in plaats van de privé. Dit vergemakkelijkt het pakket installatie voor externe knooppunten (bijvoorbeeld knooppunten draait op een publieke cloud).
• Base:. Onbestaande attributen worden beschouwd als valse conditionals zijn bij het bouwen van configuratiebestanden
• Base: & quot; voorafgaat & quot; methode toegevoegd Rocks commando plugins om fijnkorrelige bestellen van executie plugin mogelijk te maken.
• Base: netwerkinterfaces onder Linux support 2 nieuwe specifieke modes: & quot; dhcp & quot; en & quot; noreport & quot ;. De & quot; dhcp & quot; modus geeft aan dat de interface moet altijd DHCP aan zijn adres. De & quot; noreport & quot; modus geeft aan dat er geen & quot; ifcfg - * & quot; bestand moet worden geschreven voor de interface. Ifcfg - * & quot; Als een modus niet is opgegeven voor een interface, dan Rocks zal een & quot te creëren; bestand voor de interface op basis van waarden in de database (net zoals zij heeft gedaan in de vorige versie).
• Base: IPMI maakt nu gebruik van de kolom-interface kanaal in de tabel netwerken om de plint controller kanaalnummer opgeven
.
• Base: tekst in & quot; changelog & quot; labels is nu verpakt in CDATA XML escape-tekens mogelijk te maken. Dit wordt alleen ondersteund voor knooppunt XML-bestanden binnen Rolls (niet voor het knooppunt XML-bestanden vinden onder / export / rotsen / install / site-profielen.
• Base: rollen kunnen worden gebouwd zonder een volledige kopie van de Rocks broncode. Ze gebruiken de Rocks ontwikkelomgeving vinden onder / opt / rotsen / share / devel op een frontend.
• Area51:. Tripwire bijgewerkt om v2.4.2
• Bio:. Opgefrist CPAN modules
• Bio:. Ververst CPAN MPI-Blast
• Bio:. Toegevoegd Celera Whole Genome Sequence Assembler
• Condor:. Bijgewerkt om v7.4.4
• Condor: geautomatiseerde Condor configuratie volledig retooled: 1) is de configuratie Rocks commando basis in plaats van standalone CondorConf tool, 2) het ondersteunt dynamische updates van elke / alle configuraties op knooppunten, 3) gebruikt het Rocks commando plugins om extra geautomatiseerde toestaan condor config (bijvoorbeeld via plugin, kan het aanzetten MPI ondersteuning).
• Condor:. Ondersteunt een zwembad wachtwoord (gedeeld geheim) voor aanvullende gastheer verificatie
• Condor:. Integreert met EC2 rol naar Condor zwembaden te breiden met EC2 Hosts
• Condor: ondersteuning toegevoegd voor de poort varieert de configuratie firewall te vergemakkelijken
.
• Condor: lokale kopie van de Condor's manpages toegevoegd aan documenten rollen
.
• Condor:. Ondersteuning voor het bijwerken van Condor op knooppunten zonder re-installatie (bijvoorbeeld, rotsen lopen gastheer & quot; yum-update condor & quot;; rotsen sync gastheer condor)
• Ganglia:. Beeldscherm-core bijgewerkt om v3.1.7
• Ganglia:. RRDtool bijgewerkt om v1.4.4
• Ganglia:. De Ganglia Roll kan nu worden toegevoegd on-the-fly aan een bestaande frontend
• Ganglia: alle knooppunten sturen hun metrische metadata elke 3 minuten. In het verleden, wanneer gmond werd hernieuwd op de frontend, kon niet metrieken te verzamelen van de knooppunten, omdat zij geen metadata van de knooppunten (en het ook een manier om de knooppunten te vragen niet omdat de knooppunten zijn geconfigureerd & quot; doof & quot;. modus)
• HPC:. IOZone bijgewerkt om v3.347
• HPC:. Iperf bijgewerkt om v2.0.5
• HPC:. MPICH2 bijgewerkt om v1.2.1p1
• HPC:. Openmpi bijgewerkt om v1.4.3
• HPC: rocks-openmpi is de standaard MPI en het is geconfigureerd met mpi-selector
.
• SGE. SGE bijgewerkt om V62u5
• SGE: elke host kan worden geconfigureerd om een ​​executie gastheer door quot de gastheer &; exec_host & quot; en & quot; sge & quot; attributen om waar en elke host kan een inzending gastheer door quot de gastheer & geworden; submit_host & quot; en & quot; sge & quot; attributen om waar.
• Web-server:. MediaWiki bijgewerkt om v1.16.0
• Web-server:. Wordpress bijgewerkt om v3.0.1
• Xen: elk knooppunt kan hoe gastheer Xen virtuele machines. Dit wordt geregeld met de & quot; xen & quot; attribuut.
• Xen: stel de stroom voor alle knooppunten in een virtuele cluster (behalve de VM frontend) met een commando (& quot; rotsen ingesteld cluster macht ... & quot;). Vermogen instellingen kunnen worden & quot; op & quot ;, & quot; off & quot; of & quot; installeren & quot; (Inschakelen en de installatie te forceren).
• Xen: toelaten virtuele machines te definiëren VLAN tagged interfaces. Voorheen werd VLAN-tagging alleen ondersteund voor fysieke interfaces.
• Bug Fixes:
• Base: niet-root-gebruikers kunnen de gecodeerde wachtwoorden niet meer zien met 'lijst rotsen gastheer attr'. Hashed wachtwoorden worden nu opgeslagen in een 'schaduw' kolom in het attribuut tabellen.
• Base: de & quot;% & quot; in & quot; rotsen lopen host% & quot; Nu worden alle hosts. Met dank aan Tom Rockwell voor de fix.
• Base: Als een Ethernet-switch stuurt een DHCP-aanvraag, de DHCP-server stuurt het niet langer de & quot; bestandsnaam & quot; en & quot; volgende server & quot; in de DHCP respons. Dit veroorzaakte een aantal schakelaars om hun firmware te laden. Meer in het algemeen, dit wordt gecontroleerd door de & quot; kickstartable & quot ;, & quot; dhcp_filename & quot; en & quot; dhcp_nextserver & quot; attributen.
• Base: & quot; rotsen ingestelde wachtwoord & quot; vraagt ​​de gebruiker om hun nieuwe wachtwoord te bevestigen.
• Base: wanneer een knooppunt vraagt ​​een kickstart bestand en als de frontend bepaalt dat de frontend te & quot; drukke & quot ;, de Kickstart knooppunt nu correct doet een random backoff alvorens opnieuw aanvragen zijn kickstart bestand. Voorafgaand aan deze correctie zou een knooppunt backoff 30 seconden.
• Base:. Meervoudige voorwaardelijke kan nu aanwezig in XML-tags zijn
• Base: een grafiek traversal probleem opgelost. In het verleden, als je de grafiek & quot gehad; een & quot; (Cond) & quot; b & quot; naar & quot; c & quot; en als & quot; cond & quot; vals was, zou de grafiek traversal onder & quot; een & quot; en & quot; c & quot ;. Nu het omvat enkel & quot; a & quot;.
• Base: permissies in de & quot; file & quot; tag worden bewaard, zelfs als er andere & quot; file & quot; tags voor hetzelfde bestand, dat geen machtigingen van het bestand hoeft te stellen. De bug was toen een latere & quot; file & quot; tag zonder & quot; permanenten & quot; attribuut werd aangetroffen, permissies van het bestand werden ontruimd.
• Base: & quot; file & quot; labels ondersteunen nu & quot; os & quot; conditionals.
• Base: in insert-ethers, apparaten die zijn gemarkeerd & quot; niet kickstartable & quot; zal niet te wachten voor een kickstart bestand. In het verleden moest men de & quot geraakt; F9 & quot; (Force quit) om insert-ethers af te sluiten wanneer het ontdekken van non kickstartable apparaten (bijvoorbeeld, ethernet switches).
• Base: IPMI configuratie opgeruimd. Rotsen niet meer genereert foute vermeldingen in modprobe.conf of / etc / sysconfig / ifcfg-IPMI.
• Base: De & quot; pre & quot; tag ondersteunt nu de & quot; tolk = & quot; attribuut.
• Bio: geëlimineerd & quot; Permission Denied & quot; fouten tijdens meerdere runs op dezelfde BLAST-database door verschillende gebruikers.
• SGE: maakte de job collectie metrische efficiënter. Vroeger, toen 100's van de banen worden voorgelegd aan de wachtrij van een frontend's, de SGE metrische zou zo lang duren om uit te voeren, het veroorzaakt gmond om te stoppen met het verzamelen van statistieken voor alle hosts.
• SGE: het aantal CPU's scala banen consumeren worden nu correct geteld
.