Condor

Condor wordt nu beïnvloed door zowel de technologische en sociologische uitdagingen van een dergelijke computeromgeving,
Condor Team bouwt al verbazingwekkend tools die wetenschappers en ingenieurs in staat stellen hun computergebruik doorvoer te verhogen

Wat is nieuw in deze release:.

< li> 7.6.X is de nieuwe stal Condor-serie.
• Veel nieuwe functies zijn toegevoegd sinds 7.4.X.

Wat is nieuw in versie 7.3.2:

• Release Notes:
• De indeling van de output van condor_status met de -grid optie is gewijzigd om meer nuttige informatie te verstrekken.
• Verwijderd de nieuwe regel toegevoegd aan het einde van condor_status -formaat output. Daarom moet de code die de output van dit commando ontleedt nu voorzichtig zijn bij het afsnijden van de laatste regel.
• Nieuwe functies:
• condor_fetchlog kan nu halen de geschiedenis bestanden van een condor_schedd daemon. En, de geschiedenis dossier bij de condor_schedd daemon gehouden kan nu worden dagelijks of maandelijks gedraaid.
• De condor_ckpt_server wordt automatisch opruimen muffe checkpoint bestanden. De configuratie variabelen die dit gedrag beheersen worden hieronder beschreven.
• De condor_ckpt_server (ofwel de 32-bits of 64-bits) uitvoerbaar zal nu correct communiceren tussen 32-bit en 64-bit te dienen knooppunten. Als door een kans beetje breedte problemen ontstaan ​​bij de controlepost protocol (bijvoorbeeld met een bestandsgrootte), zijn duidelijke foutmeldingen vastgelegd in het checkpoint server logs.
• De nieuwe condor_ssh_to_job tool maakt het mogelijk interactief debuggen van lopende opdrachten. Zie de handleiding bij [*] voor meer informatie.
• De condor_status opdracht is nu aanzienlijk sneller, vooral met de optie -formaat.
• Raster universum soort raster GT5 is toegevoegd voor indiening bij de nieuwe Globus GRAM5 service. Wanneer een GRAM dienst wordt geïdentificeerd als GT5, JobManager smoren en de Grid Monitor worden niet gebruikt. Zie paragraaf 5.3.2 voor meer informatie.
• Raster universum grid type crème is toegevoegd voor indiening bij de CREAM job dienst van gLite. Zie paragraaf 5.3.8 voor meer informatie.
• Wanneer laag op bestandindicators voor het creëren van nieuwe netwerk-aansluitingen, de condor_schedd daemon vermijdt nu het onbeperkt stapelen up van de berichten dat het periodiek stuurt naar de condor_negotiator en condor_startd.
• De prestaties en het niet hanteren van de Grid Monitor zijn verbeterd.
• Voor grid type nordugrid in het raster universum, wordt de status jobinformatie nu verkregen met behulp van Nordugrid ARC's LDAP-server, die sterk moeten verbeteren prestaties. Ook kan Condor nu vertellen wanneer deze opdrachten worden uitgevoerd.
• De nieuwe -valgrind optie om condor_submit_dag oorzaken condor_submit_dag een submit beschrijving bestand dat valgrind gebruikt op condor_dagman genereren, in plaats van de condor_dagman binaire als executable.
• condor_dagman nu lui evalueert en opent knooppunt baan logbestanden. In plaats van het ontleden van alle indienen beschrijving bestanden en direct openen van hun opgegeven logbestanden bij het opstarten van condor_dagman analyseert nu de submit beschrijving bestanden net voor elke opdracht wordt ingediend, en heeft elk logbestand alleen open wanneer relevante vacatures in de wachtrij of het uitvoeren van POST scripts . Daarnaast condor_dagman nu genereert automatisch een standaard gebruiker logbestand voor elke knooppunt baan die niet opgeeft.
• Zowel de ondersteuning en documentatie voor het MPI universum zijn verwijderd. MPI toepassingen worden ondersteund door het gebruik van de parallelle universum.
• Wanneer de test van de virtuele machine software de condor_startd daemon is mislukt (voor machines geconfigureerd als staat draaiende virtuele machines), de condor_startd zal periodiek opnieuw proberen de test totdat het lukt.
• De nordugrid_gahp beperkt nu het aantal verbindingen gemaakt aan elke NorduGrid ARC server en hergebruikt verbindingen waar mogelijk.
• Toegevoegd de ClassAd functie eval (), die een tekenreeksargument neemt en de inhoud van de tekenreeks als ClassAd expressie. Een beleid voorbeeld waar dit nuttig is wordt beschreven in paragraaf 3.5.9 op baan schorsing.
• De nieuwe condor_q optie -attributes beperkt de attributen die worden weergegeven bij gebruik van de -xml of -Long opties. Het beperken van het aantal attributen verhoogt ook de efficiëntie van de query.
• Condor's power management mogelijkheden worden nu geïmplementeerd als een plug-in. Met name de condor_startd loopt nu een extern programma, zoals gespecificeerd door de configuratie variabele HIBERNATION_PLUGIN, aan de opsporing van beschikbare laag vermogen staten en de omschakeling naar deze laag vermogen staten uit te voeren.
• De nieuwe Condor daemon condor_rooster is toegevoegd om wakker winterslaap machines als de expressie bepaald door de configuratie variabele UNHIBERNATE waar wordt. De configuratie variabelen betreffende condor_rooster worden beschreven in paragraaf 3.3.35.
• De mogelijkheid toegevoegd om informatie van de gebruiker logboek lezer state buffer om de gebruiker log lezer te halen. Dit wordt uitgevoerd door middel van een nieuw ReadUserLogStateAccess C ++ klasse zoals gedefinieerd in read_user_log.h.
• Wijzigingen in de waarde van de configuratie variabele CERTIFICATE_MAPFILE of de inhoud van het bestand waarop het betrekking heeft niet langer een volledige herstart van Condor vereisen. In plaats daarvan zal het commando condor_reconfig veroorzaken de veranderingen te worden gebruikt.
• De condor_master daemon zal nu het pad en de argumenten afdrukken op elke daemons het begint als D_FULLDEBUG is ingeschakeld. Voorheen was er geen manier om het te krijgen om de argumenten te geven waarmee het begon een daemon.
• De condor_had daemon heeft nu de mogelijkheid om andere dan de condor_negotiator daemons besturen. Dit wordt geregeld via de HAD_CONTROLLEE macro.
• Condor herkent nu VOMS extensies in X.509 proxies. De VOMS attributen worden gecodeerd in de baan ClassAd toeschrijven X509UserProxySubject.
• De condor_startd kan nu opruimen gestrand virtuele machines, na een crash van Condor of het host-besturingssysteem.
• Na een crash, de condor_gridmanager niet meer herstart alle jobmanagers voor GT2 banen. Dit zou moeten verbeteren hersteltijd.
• Condor werkt beter met de classads gecategoriseerd als generiek in de condor_collector daemon. Verschillende daemons die zich registreert bij een generieke classads kunnen nu van instrumenten die de -subsystem optie te gebruiken op de juiste manipuleren hun classads.
• Condor biedt nu een mechanisme om strikte resource dwingen beperken voor sommige universa van lopende opdrachten.
• Configuratie Variabele Aanvullingen en wijzigingen:
• De nieuwe configuratie variabele EMAIL_SIGNATURE specificeert een aangepaste handtekening moet worden toegevoegd aan e-mail van de Condor systeem. Als gedefinieerd, dan is deze aangepaste handtekening vervangt de standaard één intern aangegeven. Er is geen standaard waarde voor deze variabele.
• De nieuwe configuratie variabele CKPT_SERVER_CLIENT_TIMEOUT informeert de condor_schedd hoe lang in seconden is bereid om te wachten om te proberen en te praten met een condor_ckpt_server proces, voordat zij een condor_ckpt_server beneden. Zie paragraaf 3.3.11 voor de volledige beschrijving.
• De nieuwe configuratie variabele CKPT_SERVER_CLIENT_TIMEOUT_RETRY informeert de condor_schedd dat zodra een condor_ckpt_server wordt gestaan ​​als beneden gemarkeerd, hoe kan seconden moet gaan voordat de condor_schedd zal proberen en te communiceren met de condor_ckpt_server opnieuw. Zie paragraaf 3.3.11 voor de volledige beschrijving.
• De nieuwe configuratie variabele CKPT_SERVER_REMOVE_STALE_CKPT_INTERVAL informeert de condor_ckpt_server om te beginnen met het verwijderen van muffe controleposten op de opgegeven interval in seconden. Zie paragraaf 3.3.8 voor de volledige beschrijving.
• De nieuwe configuratie variabele CKPT_SERVER_STALE_CKPT_AGE_CUTOFF informeert de condor_ckpt_server hoe oud een controlepost bestand toegangstijd moet zijn om oudbakken te worden beschouwd. Deze tijd wordt vergeleken met de huidige notie van nu wanneer het checkpoint server controleert de controlepost beeldbestand. Zie paragraaf 3.3.8 voor de volledige beschrijving.
• De nieuwe configuratie variabele SlotWeight kan worden gebruikt om een ​​sleuf te geven meer gewicht bij de berekening van het gebruik, het berekenen van eerlijke aandelen, en handhaven van de groep quota. Zie 3.3.10 voor de volledige beschrijving.
• De nieuwe configuratie variabele MAX_PERIODIC_EXPR_INTERVAL implementeert een maximum van de tijd tussen evaluatie periodieke uitdrukkingen, vanwege de adaptieve timing geïmpliceerd door de configuratievariabele PERIODIC_EXPR_TIMESLICE. Zie 3.3.11 voor de volledige beschrijving.
• De nieuwe configuratie variabele GRIDMANAGER_SELECTION_EXPR kan worden gebruikt om te bepalen hoeveel condor_gridmanager processen zullen worden voortgebracht op raster universum banen te beheren. Als onderdeel van deze verandering, verwijderde de configuratievariabele en ondersteunende code voor GRIDMANAGER_PER_JOB aangezien de nieuwe configuratie variabele vervanging daarvan. Zie 3.3.11 voor de volledige beschrijving.
• De configuratie variabele GRIDMANAGER_MAX_PENDING_SUBMITS_PER_RESOURCE en de bijbehorende gashendel GRIDMANAGER_MAX_PENDING_SUBMITS zijn verwijderd.
• De nieuwe configuratie variabele GRID_MONITOR_DISABLE_TIME bepaalt hoe lang de condor_gridmanager zal wachten na het ontmoeten van een fout voordat u een Grid Monitor opnieuw te starten. Zie 3.3.23 voor de volledige beschrijving.
• De nieuwe vooraf gedefinieerde configuratie macro DETECTED_MEMORY geeft de hoeveelheid fysiek geheugen (RAM) gedetecteerd door Condor. De waarde wordt uitgedrukt in MB.
• De nieuwe vooraf gedefinieerde configuratie macro DETECTED_CORES geeft het aantal CPU cores gedetecteerd door Condor.
• De nieuwe configuratie variabele DELEGATE_FULL_JOB_GSI_CREDENTIALS regelt of een volledige of beperkte X.509 proxy wordt gedelegeerd voor soort raster GT2 raster universum banen. Zie 3.3.26 voor de volledige beschrijving.
• De nieuwe configuratie variabele UNHIBERNATE wordt gebruikt door de condor_startd om te adverteren in haar ClassAd een boolean expressie te geven wanneer de machine moet worden gewekt, bijvoorbeeld door condor_rooster. Zie 3.3.10 voor de volledige beschrijving.
• De nieuwe configuratie variabele HIBERNATION_PLUGIN geeft het pad naar de plug-in die de condor_startd gebruikt zowel voor de low power state mogelijkheden van een machine op te sporen en om de machine over te schakelen naar een laag energieverbruik. Zie 3.3.10 voor de volledige beschrijving.
• De nieuwe configuratie variabele HIBERNATION_PLUGIN_ARGS specificeert extra command line argumenten die de condor_startd zal doorgeven aan de plug-in bij het inroepen van het naar de machine over te schakelen naar een laag energieverbruik. Zie 3.3.10 voor de volledige beschrijving.
• De nieuwe configuratie variabele HIBERNATION_OVERRIDE_WOL kan worden gebruikt om direct de condor_startd om Wake On LAN (WOL) mogelijkheden van de netwerkinterface van de machine te negeren, en om te schakelen naar een lagere energiestand, zelfs als de interface niet ondersteunt WOL, of als WOL is uitgeschakeld op. Zie 3.3.10 voor de volledige beschrijving.
• De nieuwe configuratie variabele DAGMAN_USER_LOG_SCAN_INTERVAL bepaalt hoe lang condor_dagman wacht tussen het controleren baan logbestanden voor status updates. Zie 3.3.25 voor de volledige beschrijving.
• De nieuwe configuratie variabele DAGMAN_DEFAULT_NODE_LOG stelt de standaardwaarde logbestand naam voor het nieuwe condor_dagman standaard knooppunt logbestand functie. Zie 3.3.25 voor de volledige beschrijving.
• Verwijderd de configuratievariabele DAGMAN_DELETE_OLD_LOGS; nieuw logbestand leescode maakt het overbodig.
• De nieuwe configuratie variabele HAD_CONTROLLEE wordt gebruikt om de naam van de daemon die de condor_had -controles. Deze naam moet de naam daemon wedstrijd in DAEMON_LIST de condor_master's.
• Bugs Fixed:
• Fixed a bug in ClassAd functies waar argumenten die juist had moeten worden gedwongen tot strings in plaats geëvalueerd om ERROR.
• Vast een verwarrende diagnostisch bericht met de JobRouter, dat gebeurde toen een baan binnen 5 minuten na indiening werd verwijderd.
• Fixed a bug waarbij het gebruik van dynamische slots (zie paragraaf 3.13.7) veroorzaakt de machine ClassAd toeschrijven SLOT_STARTD_ATTRS te verdwijnen uit de ClassAd voor een aantal slots.
• Vast een Windows-platform bug waarbij het raam die behoren tot een Condor taak niet een verf bericht ontvangen.
• Fixed a bug waardoor condor_q -analyze te crashen als er geen condor_schedd daemon ClassAd bestand.
• Fixed a condor_procd crash veroorzaakt wanneer de omgeving van een gecontroleerd proces overschreden 1 MB / proc.
• Vast een Windows-platform bug die de condor_credd kon laten crashen als een gevraagde referentie is niet in het wachtwoord op te slaan.
• Fixed a bug die werd veroorzaakt de job event log rotatie slot worden met onjuiste permissies aangemaakt.
• Fixed a bug in de rotatie van de job event log, die ertoe kunnen leiden dat het nooit om in de Windows-port van de Condor worden gedraaid.
• Vast een potentiële conflictsituatie in de job event log initialisatie.
• Vaste race condition die een crash van de condor_collector en condor_schedd op shutdown kunnen veroorzaken.
• Fixed a bug waar de condor_master soms zou sterven en produceren een dprintf_failure.MASTER bestand wanneer ofwel herstarten als gevolg van nieuwe binaire timestamps of wanneer begon in eerste instantie.
• Vast een geheugenlek in verband met SOAP configuratie variabelen die gebeurde toen Condor werd geconfigureerd.
• Fixed a bug waar de submit beschrijving bestandsopdracht cron_day_of_week werd ten onrechte genegeerd.
• Fixed bug waarbij de configuratie variabelen MAX_JOB_QUEUE_LOG_ROTATIONS en GRIDMANAGER_SELECTION_EXPR niet goed zou werken bij het opstarten; ze werkte alleen na een condor_reconfig.
• Fixed a bug waar SOAP operaties werden ten onrechte bevoegd met de peer-IP.
• Vast een Windows-platform bug waarbij niet alle Condor daemons werden vertrouwd door de Windows Firewall (voorheen bekend als Internet Connection Firewall of ICF).
• Vast een shutdown race condition in de condor_master met betrekking tot een hoge beschikbaarheid daemons.
• Fixed a bug waarbij een Condor daemon verkeerd bepaald het uit socket descriptors had gelopen.
• Fixed a bug waar de condor_schedd zou blokkeren voor zeer lange tijd terwijl het proberen om verbinding te maken met een down checkpoint server. Nu zal de condor_schedd doen een blokkerende verbinden met een time-out aan de controlepost server voor een configureerbare aantal seconden. Als de connect mislukt, zal het condor_schedd een moratorium gezet bij het aansluiten op de controlepost server totdat de configureerbare moratorium passes. Het configuratiebestand variabelen die dit gedrag beschreven zijn hierboven beschreven.
• Veranderde de cheque die condor_dagman doet voor andere condor_dagman gevallen waarop dezelfde DAG, als het een lock-bestand bij het opstarten vindt. Nu, als condor_dagman is niet zeker of de andere DAGMan in leven is, het blijft, in plaats van af te sluiten.
• Vast een grote file descriptor lek in de Stork daemon.
• Fixed a bug in die succesvolle Stork transfers werden gemarkeerd als mislukt.
• Vast een ongewoon geheugenlek in de gebruiker gebeurtenislogboekbestand leescode bij het lezen van slecht geformatteerd evenementen.
• Fixed a bug waarbij meerdere machine classads in de condor_collector met dezelfde naam, maar met verschillende StartdIPAddr attribuutwaarden, zou ertoe leiden dat de condor_negotiator om af te sluiten met een fout. Dit is ongebruikelijk en mag niet gebeuren in een typisch Condor installatie. De meest waarschijnlijke oorzaak is het gebruik van condor_advertise om aangepaste classads reclame te maken voor raster matchmaking.
• Fixed a bug die condor_dagman veroorzaakt aan core dump als alle indienen pogingen mislukten op een DAG knooppunt met een POST-script. Deze bug bestaat sinds Condor versie 7.1.4.
• Vast een geheugenlek in de condor_schedd die optrad toen de configuratie variabele NEGOTIATOR_MATCH_EXPRS werd gebruikt.
• Fixed a bug in de Windows-platform code die scripts behandelt als executables. Onbekend bestandsextensies werden behandeld als een fout, eerder dan als een Windows-executable.
• De condor_job_router nu correct stelt de ClassAd toeschrijven EnteredCurrentStatus om de huidige tijd bij het maken van een nieuwe gerouteerd baan. Voorheen gekopieerd dit kenmerk van de oorspronkelijke taak.
• De condor_job_router straalt een meer vriendelijke log bericht als het merkt dat de gerouteerd exemplaar van de opdracht werd verwijderd.
• Een fix is ​​gemaakt voor een probleem gezien in 7.3.1 waarin Condor daemons behulp CCB te verbinden met andere Condor daemons zou soms consumeren van grote hoeveelheden CPU-tijd zonder goede reden.
• een zeldzaam probleem opgelost mislukking geval bug in die probeert aan te sluiten via CCB kon in een hangende toestand te blijven voor onbepaalde tijd.
• Een Unix enige bug veroorzaakt Condor daemons te mislukken om te beginnen als MAX_FILE_DESCRIPTORS hoger dan de huidige harde limiet geërfd door Condor werd geconfigureerd. Als Condor wordt uitgevoerd als root, is dit niet meer het geval.
• De condor_gridmanager adverteert nu net classads correct wanneer er meerdere condor_collector daemons.
• Wanneer u condor_q -xml en -formaat samen tot het beperken van het aantal ClassAd attributen geretourneerd in de query, het XML-container tag werd niet gegenereerd. Dit is opgelost, maar nu is de beste manier om de geretourneerde attributen te beperken is om condor_q optie -attributes gebruiken.
• Fixed a bug waar de Unix condor_master niet wanneer het proberen om zichzelf opnieuw op te starten, als de configuratie variabele MASTER_LOCK werd gedefinieerd, of als de condor_master werd opgeroepen met de -t optie. Deze bug bestaat al sinds de 7.0-serie, en waarschijnlijk heeft veel langer dan die bestonden.
• Vast een belangrijke geheugenlek in de gahp_server. Dit lek was alleen aanwezig in eerdere Condor 7.3.x releases.
• Fixed a bug die een verwijderde baan die wordt gehouden en vervolgens vrijgelaten om terug te keren naar de ruststand kan veroorzaken.
• De Globus jar bestanden verspreid met de x86-64 RHEL 5 RPM's werden beschadigd, waardoor het type GT4 raster banen te mislukken. Dit is opgelost.

Wat is nieuw in versie 7.2.2:

• Toegevoegd een volledige haven van Condor naar Debian 5.0 op een het x86-platform.
• Toegevoegd een geknipte haven van Condor Debian 5.0 op de x86_64 platform.
• Toegevoegd de -DumpRescue command-line vlag om condor_dagman en condor_submit_dag. Deze vlag is vooral bedoeld voor het testen.
• Ondersteuning toegevoegd voor de -debug optie om condor_qedit.
• De Job router gebruikt nu een tijd slice timer voor periodieke evaluatie expressie, vergelijkbaar met de condor_schedd daemon. De evaluatie interval wordt gecontroleerd door de configuratievariabele PERIODIC_EXPR_INTERVAL, en staat standaard op 60 seconden, dezelfde standaardwaarde gebruikt door de condor_schedd daemon.
• De Job Router reset nu de bron baan, als er een fout optreedt tijdens het bijwerken van de condor_schedd daemon voor een periodieke expressie die geëvalueerd op True. De taak van de periodieke uitingen moeten opnieuw worden geëvalueerd enige tijd in de toekomst met een geslaagde update.

Wat is nieuw in versie 7.2.0:.

• Major functieverbeteringen

Wat is nieuw in versie 7.0.5:

• Deze release bevat veel bugfixes en een aantal verbeteringen aan fout afhandeling van banen Plaatselijk Universum.
• Merk op dat sommige van de bugfixes zijn beveiliging gerelateerde; Daarom, plaatsen moet ofwel upgraden of machtigingen op wie mag banen Condor leggen aan vertrouwde gebruikers te beperken.