DataFu

DataFu werd ontwikkeld op LinkedIn en wordt volledig geschreven in Java.

DataFu bevat functies / bibliotheken voor het werken met:

- Statistieken

- Schatting

- Sampling

- Sessions

- Een link analyse

- Set operaties

- Zakken

DataFu is perfect voor data mining en statistische toepassingen werken op de top van Hadoop of Pig databases.

Deze functies kunnen ontwikkelaars ten volle te profiteren van alle opgeslagen in de gegevens van een Hadoop of Pig de database zonder dat te maken met enorme systeemvereisten om dit te doen.

Wat is nieuw in deze release:.

• Paar UDF voor enkelvoudige aselecte steekproef met vervangende
• Meer afhankelijkheden nu verpakt in DataFu dus minder JAR afhankelijkheden vereist.
• SetDifference UDF voor het berekenen ingesteld verschil (bijv. A-B of A-B-C).

Wat is nieuw in versie 1.2.0:

• Paar UDF voor enkelvoudige aselecte steekproef met vervanging.
• Meer afhankelijkheden nu verpakt in DataFu dus minder JAR afhankelijkheden vereist.
• SetDifference UDF voor het berekenen ingesteld verschil (bijv. A-B of A-B-C).

Wat is nieuw in versie 1.1.0:.

• Toegevoegd SHA hash UDF
• InUDF en AssertUDF toegevoegd voor Pig 0,12 compatibiliteit. Dit zijn dezelfde als in en Assert.
• SimpleRandomSample, die een schaalbare enkelvoudige aselecte steekproef algoritme implementeert.