Apache Spark

Spark ontworpen om verwerkingssnelheden voor gegevensanalyse en manipulatie's te verbeteren.
Het werd geschreven in Java en Scala en biedt functies die niet in andere systemen, vooral omdat ze niet mainstream noch dat nuttig is voor de niet-data verwerking van de aanvragen.

Wat is nieuw in deze release:.

• De kern API ondersteunt nu multi-level aggregatie bomen te helpen versnellen dure operaties te verminderen
• Verbeterde foutrapportage is toegevoegd voor bepaalde Gotcha operaties.
• Spark's Jetty afhankelijkheid is nu in de schaduw te helpen conflicten met gebruiksvriendelijke programma's te vermijden.
• Spark ondersteunt nu SSL-encryptie voor sommige communicatie eindpunten.
• Realtime GC metrics en opnemen tellingen zijn toegevoegd aan de UI.

Wat is nieuw in versie 1.3.0:

• De kern API ondersteunt nu multi-level aggregatie bomen te helpen versnellen dure operaties te verminderen.
• Verbeterde foutrapportage is toegevoegd voor bepaalde Gotcha operaties.
• Spark's Jetty afhankelijkheid is nu in de schaduw te helpen conflicten met gebruiksvriendelijke programma's te vermijden.
• Spark ondersteunt nu SSL-encryptie voor sommige communicatie eindpunten.
• Realtime GC metrics en opnemen tellingen zijn toegevoegd aan de UI.

Wat is nieuw in versie 1.2.1:

• PySpark's soort operator biedt nu ondersteuning voor externe morsen voor grote datasets .
• PySpark ondersteunt nu uitzending variabelen groter dan 2GB en voert externe morsen tijdens soorten.
• Spark voegt een job-niveau vooruitgang pagina in de Spark UI, een stabiele API voor vooruitgang rapportage en dynamische actualisering van de output metrics als banen voltooid.
• Spark heeft nu ondersteuning voor het lezen van binaire bestanden voor afbeeldingen en andere binaire formaten.

Wat is nieuw in versie 1.0.0:

• Deze versie breidt standaard bibliotheken Spark's, de invoering van een nieuwe SQL-pakket (Spark SQL) waarmee gebruikers integreren SQL-query's in bestaande Spark workflows.
• MLlib, machine learning bibliotheek Spark's, wordt uitgebreid met schaars vector ondersteuning en een aantal nieuwe algoritmen.

Wat is nieuw in versie 0.9.1:

• Fixed hash collision bug in externe morsen
• Vast conflict met log4j Spark voor gebruikers vertrouwen op andere logging backends
• Vast Graphx ontbreekt Spark assemblage pot in Maven bouwt
• Vast stille mislukkingen te wijten aan uitgang status kaart dan Akka framemaat
• Verwijderd Spark's onnodige directe afhankelijkheid van ASM
• Verwijderd metrics-ganglia van de standaard build vanwege LGPL licentie conflict
• Fixed bug in de distributie tarball bevatten vonk assemblage jar

Wat is nieuw in versie 0.8.0:

• Ontwikkeling is verhuisd naar de Apache Sowftware Foundation als een incubator project.

Wat is nieuw in versie 0.7.3:

• Python prestaties: mechanisme Spark voor paaien Python VM heeft verbeterd om zo sneller te doen wanneer de JVM heeft een grote heap omvang, het versnellen van de Python API.
• Mesos verhelpt: JAR toegevoegd aan je taak zal nu op de classpath wanneer deserialize taak resultaten in Mesos
.
• Fout rapportage. Beter fout rapportage voor niet-serializable uitzonderingen en te grote taak resultaten
• Voorbeelden:. Toegevoegd een voorbeeld van stateful stream processing met updateStateByKey
• Build:. Spark Streaming niet langer afhankelijk van de Twitter4J repo, die moet toelaten om te bouwen in China
• Bug fixes in foldByKey, streaming telling, statistieken methoden, documentatie en web UI.

Wat is nieuw in versie 0.7.2:.

• Scala versie bijgewerkt naar 2.9.3
• Een aantal verbeteringen aan Bagel, met inbegrip van de prestaties fixes en een configureerbare opslag niveau.
• Nieuwe API methoden:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition, en anderen
• Een nieuwe metrics rapportage-interface, SparkListener, om informatie over elke berekening fase verzamelen. Taak lengtes, bytes geschud, etc
• Een aantal nieuwe voorbeelden met behulp van de Java API, zoals K-middelen en computers pi.

Wat is nieuw in versie 0.7.0:

• Spark 0.7 voegt een Python API genaamd PySpark <. / li>
• Spark banen nu lanceren een web dashboard voor het bewaken van het geheugengebruik van elke gedistribueerde dataset (RDD) in het programma.
• Spark kan nu worden gebouwd met behulp van Maven naast SBT.

Wat is nieuw in versie 0.6.1:

• Vast overdreven agressief bericht time-outs dat werknemers kunnen veroorzaken loskoppelen van het cluster.
• Fixed a bug in de stand-alone modus implementeren die niet hostnames te scheduler niet bloot, waardoor HDFS plaats.
• Verbeterde verbinding hergebruik in shuffle, die sterk kan versnellen kleine shuffles.
• Vast een aantal potentiële impasses in het blok manager.
• Fixed a bug krijgen ID's van mislukte hosts van Mesos.
• Verscheidene verbeteringen EC2 script, zoals betere behandeling van spot gevallen.
• Made het lokale IP-adres dat Spark bindt aan aanpasbare.
• Ondersteuning voor Hadoop 2 distributies.
• Ondersteuning voor het lokaliseren van Scala op Debian distributies.

Wat is nieuw in versie 0.6.0:.

• Eenvoudigere implementatie
• de documentatie Spark's is uitgebreid met een nieuwe quick start guide, extra inzet instructies, configuratie gids, tuning gids, en verbeterde Scaladoc API-documentatie.
• Een nieuwe communicatie-manager met behulp van asynchrone Java NIO laat shuffle operaties sneller lopen, vooral bij het verzenden van grote hoeveelheden data, of wanneer banen veel taken.
• Een nieuwe Storage Manager ondersteunt per-dataset storage-instellingen (bijvoorbeeld of op de dataset in het geheugen te houden, gedeserialiseerd, op schijf, etc, of zelfs gerepliceerd over nodes).
• Verbeterde debugging.