MDP

MDP (Modulaire toolkit voor Data Processing) is een bibliotheek van veelgebruikte data processing algoritmes die kunnen worden gecombineerd volgens een pijpleiding analogie met meer complexe data processing software te bouwen.
Vanuit het perspectief van de gebruiker, MDP bestaat uit een verzameling van bewaakte en onbewaakte leren algoritmen en andere gegevens verwerken eenheden (nodes), die kunnen worden gecombineerd tot gegevensverwerking sequenties (stromen) en meer complexe feed-forward netwerkarchitecturen. Gegeven een set invoergegevens, MDP verzorgt achtereenvolgens training of uitvoering van alle knooppunten in het netwerk. Hierdoor kan de gebruiker complexe algoritmen specificeren als een reeks eenvoudige gegevensverwerking treden op natuurlijke wijze.
De basis van beschikbare algoritmen neemt gestaag toe en omvat, om maar de meest voorkomende, Principal Component Analysis (PCA en NIPALS), diverse Independent Component Analysis algoritmen (Cubica, FastICA, TDSEP, JADE en XSFA), Slow Feature Analysis, Gauss Classifiers, Beperkte Boltzmann Machine en Lokaal Linear Embedding.
Bijzondere zorg is genomen berekeningen efficiënt in termen van snelheid en geheugen te maken. Om geheugeneisen te verminderen, kan men leren met behulp batches van gegevens uit te voeren, en bepalen de interne parameters van de knooppunten enkele precisie, die het gebruik van zeer grote data sets maakt mogelijk. Bovendien is de 'parallelle' subpackage biedt een parallelle uitvoering van de basis-knooppunten en stromen.
Vanuit het perspectief van de ontwikkelaar, MDP is een raamwerk dat de implementatie van nieuwe bewaakte en onbewaakte leeralgoritmen gemakkelijk en eenvoudig maakt. De basis klasse, 'Node', verzorgt vervelende taken zoals het numerieke type en dimensionaliteit controleren, waardoor de ontwikkelaar vrij om zich te concentreren op de uitvoering van het leren en de uitvoering fasen. Door de gemeenschappelijke interface, het knooppunt automatisch geïntegreerd met de rest van de bibliotheek kan worden gebruikt in een netwerk samen met andere knooppunten. Een knooppunt kan meerdere training fasen en zelfs een onbepaald aantal fasen. Dit maakt het mogelijk de uitvoering van algoritmen die moeten een aantal statistieken over de hele ingang te verzamelen alvorens de eigenlijke training, en anderen die moeten itereren over een trainingsfase totdat een convergentie criterium is voldaan. De mogelijkheid om iedere fase gebruik stukken invoergegevens leiden gehandhaafd indien de stukken worden gemaakt met iterators. Bovendien, crash recovery is optioneel verkrijgbaar: in geval van een storing, wordt de huidige stand van de stroom opgeslagen voor latere inspectie.
MDP werd geschreven in de context van theoretisch onderzoek in neurologie, maar het is ontworpen om behulpzaam in elke context waarbij trainbaar gegevensverwerkingsalgoritmes gebruikt worden. De eenvoud van de gebruiker kant samen met de herbruikbaarheid van de geïmplementeerde knooppunten maken het ook een geldig educatief hulpmiddel

Wat is nieuw in deze release:.

• Python 3 support.
• Nieuwe extensies: caching en gradiënt
.
• Een verbeterd en uitgebreid tutorial.
• Een aantal verbeteringen en bugfixes.
• Deze release is onder een BSD licentie.

Wat is nieuw in versie 2.5:

• 2009-06-30: Toegevoegd online detectie van numerieke backend , parallel python ondersteuning, symeig backend en numerieke backend naar de uitgang van de unit tests. Zou moeten helpen bij het debuggen.
• 2009-06-12:. Integratie van de cutoff en histogram knooppunten
• 2009-06-12:. Fixed bug in parallel flow (exception handling)
• 2009-06-09: Fixed bug in LLENode wanneer output_dim is een float. Dankzij Konrad Hinsen.
• 2009-06-05:. Fixed bugs in parallel flow voor meerdere planners
• 2009-06-05:. Fixed a bug in laag inverse, dankzij Alberto Escalante
• 2009-04-29:. Toegevoegd een LinearRegressionNode
• 2009-03-31: PCANode niet meer klagen als covariantiematrix heeft negatieve eigenwaarden IFF svd == True of te verminderen == True. Als output_dim is opgegeven een gewenste variantie, zijn negatieve eigenwaarden genegeerd. Verbeterde foutmelding voor SFANode in geval van een negatieve eigenwaarden, nu raden wij u aan het knooppunt prepend met een PCANode (SVD = True) of PCANode (verminderen = True).
• 2009-03-26: gemigreerd van de oude draad pakket om de nieuwe threading één. Toegevoegd vlag om caching uit te schakelen in proces scheduler. Er zijn een aantal breken veranderingen voor aangepaste planners (parallel stroom training of uitvoering wordt niet beïnvloed).
• 2009-03-25:. Toegevoegd svn herziening volgen support
• 2009-03-25: Verwijderd de copy_callable vlag voor planner, deze is nu volledig vervangen door het forken van TaskCallable. Dit heeft geen effect voor de handige ParallelFlow interface, maar op maat planners krijgen gebroken.
• 2009-03-22:. Geïmplementeerd caching in de ProcessScheduler
• 2009-02-22:. Make_parallel nu werkt volledig in-plaats om geheugen te besparen
• 2009-02-12:. Toegevoegd container methoden om FlowNode
• 2009-03-03:. Toegevoegd CrossCovarianceMatrix met testen
• 2009-02-03:. Toegevoegd IdentityNode
• 2009-01-30:. Toegevoegd een helper functie in Hinet om een ​​stroom HTML-weergave direct tonen
• 2009-01-22:. Sta output_dim in Layer lui te stellen
• 2008-12-23:. Toegevoegd total_variance aan de nipals knooppunt
• 2008-12-23:. Altijd set explained_variance en total_variance na de training in PCANode
• 2008-12-12: Gewijzigde symrand om echt terug symmetrische matrices (en niet alleen positieve definitief). Aangepast GaussianClassifierNode om rekening te houden dat. Aangepast symrand ook terug complex hermitische matrices.
• 2008-12-11: Vaste een probleem in PCANode (toen output_dim werd ingesteld om de totale variantie input_dim werd behandeld als onbekend). Vaste var_part parameter in ParallelPCANode.
• 2008-12-11:. Toegevoegd var_part functie om PCANode (filter volgens variantie ten opzichte van absoute variantie)
• 2008-12-04: Vaste ontbrekende as arg in amax gesprek tutorial. Dankzij Samuel John!
• 2008-12-04: Vaste de lege data iterator behandeling in ParallelFlow. Ook toegevoegd lege iterator controles in de normale Flow (verhogen een uitzondering als de iterator is leeg).
• 2008-11-19: Gewijzigde PCA en SFA knooppunten te controleren op negaive eigenwaarden in de COV matrices
• 2008-11-19: symeig geïntegreerd in scipy, MDP kan het gebruiken van daar nu
.
• 2008-11-18:. Toegevoegd ParallelFDANode
• 2008-11-18:. Bijgewerkt de trein opvraagbare voor ParallelFlow om extra argumenten ondersteunen
• 2008-11-05: Herschrijven van het merk parallelle code, ondersteunt nu Hinet structuren
.
• 2008-11-03: Herschrijven van de Hinet HTML repesentation schepper. Helaas breekt ook de openbare interface, maar de veranderingen zijn vrij eenvoudig.
• 2008-10-29: Schakel waarschuwingen afkomstig van externe processen in ProcessScheduler
• 2008-10-27:. Probleem opgelost met het overschrijven kwargs in de init methode ParallelFlow
• 2008-10-24:. Fixed pretrained nodes bug in hinet.FlowNode
• 2008-10-20:. Fixed kritische import bug in parallel pakket toen pp (parallel python bibliotheek) is geïnstalleerd

Eisen

• Python
• NumPy
• scipy