De Bioinformatics Benchmark System is een poging om een redelijke toetsingskader, testen en data op te bouwen, om eindgebruikers en leveranciers in staat stellen om de prestaties van hun systemen te onderzoeken.
Wat wij proberen te doen is om een kader voor het testen, en een kern reeks tests die alle kunt downloaden en gebruiken om specifieke elementen van de systemen prestaties sonde creëren.
Bovendien is de bron om deze tests zijn beschikbaar onder GPL, en worden op Bioinformatics.org en schaalbare Informatica LLC gehost Het idee is om eindgebruikers, consumenten, systemen ontwikkelaars en anderen in staat om gemakkelijk op te bouwen en te gebruiken zinvolle tests voor het meten en tuning redenen .
Joe Landman van Scalable Informatica LLC bedacht het idee en schreef de oorspronkelijke codes. We zijn op zoek naar aanvullende benchmark-code suggesties, testen, datasets, etc.
Voor basislijntests verschillende NCBI BLAST loopt, verscheidene HMMER loopt, en diverse anderen. We zijn van plan om ClustalW, X! Tandem, verschillende chemie, dynamiek, en aanverwante testen, evenals verscheidene anderen omvatten.
Tests zoals LINPACK of HPL gewoon niet voorzien zinvolle prestatie-indicatoren en voorspellende modellen voor hoge prestaties informatica. Helaas, noch een aantal meer recente en gerichte testen.
Dit is een probleem als LINPACK en HPL specifiek testen van de prestaties op verschillende matrix operaties, waar je effectief regelmatig toegang geheugen patronen, en de specifieke wiskundige bewerkingen.
Deze codes zijn het meest nuttig voor de vergelijking met codes met zware floating point operaties en interleaved geheugen verkeer. Deze codes zijn niet ontworpen voor uitgebreide systemen benchmarking, waar de disk I / O, geheugen latency en andere factoren dragen allemaal bij aan de problemen met de prestaties.
De beste tests zijn degenen die het meest lijkt op de codes die u zal draaien op de machine. De tests zelf moeten redelijk zijn benaderingen om een echte uitvoering van uw code, met behulp van echte gegevens. Het kan nodig zijn om het pare terug om realistische looptijden krijgen.
Je moet een redelijke subset van data maten. Een enkele test niet vertellen hoe uw systeem schalen, en een van de redenen voor het bestaan van deze test is specifiek aan u toelaten om de prestaties te testen, terwijl je verhogen de verschillende aspecten van de werklast.
Je krijgt zelden een rustig systeem in een cluster, dus we zouden aanraden dat je om te draaien in zo realistisch een operationele omgeving mogelijk te maken. Een basislijn in een rustige systeem is prima, maar het kan uw verwachtingen onredelijk te stellen.
top
Reacties niet gevonden