Pcompress

Pcompress is een open source command-line parallelle compressie, decompressie en deduplicatie nut, door het splitsen van input data in stukjes.
Pcompress beschikt Delta compressie, vaste optie blok, metadata compressie, ondersteuning voor meerdere algoritmes, waaronder LZMA, LZMA-Multithreaded, PPMD, Bzip2 of LZ4, sterke data-integriteit, filters, Matrix transformeren, encryptie, bericht authenticatie, metadata, overlapt verwerking, op maat allocator, solide modus, padding, en nog veel meer

Wat is nieuw in deze release:.

• Dit is een belangrijke release met het archiveren van ondersteuning op basis van libarchive. Geavanceerde technieken worden gebruikt om bestandstypen detecteren en gebruik geschikte algoritmen om beter te comprimeren. Filters zoals PackJPG voor JPEG's en Dispack voor uitvoerbare bestanden worden gebruikt om de samendrukbaarheid verbeteren. Een paar heuristiek helpen bij het opsporen reeds gecomprimeerde data en voorkomen dat kostbare compressie stappen. Archiefitems worden ook naargelang naar gerelateerde inhoud clusteren en het bereiken van een betere compressie. Gegevens split grenzen voor meerdere parallelle draden worden bepaald op basis van het bestandstype en de glooiende hash veranderingen. Mmap en Zero-Copy technieken worden intern gebruikt waar mogelijk om de prestaties te verbeteren. Sommige optimalisaties zijn ook gedaan om het geheugengebruik te verminderen. Gebruik is vereenvoudigd met de meeste functies automatisch geconfigureerd op basis van compressieniveau.
• Met deze veranderingen Pcompress kan fungeren als een volwaardig archiver, zoals teer of cpio en zorgen voor een betere compressie en betere prestaties dan de single-bestand compressie-modus. Pcompress steekt zeer gunstig af bij andere toonaangevende archiveerder nutsbedrijven.

Wat is nieuw in versie 2.4:

• Deze versie lost een aantal problemen, waaronder een hoekje geval crashes en een paar van de buffer overflows.
• Data deduplicatie kunnen nu worden gedaan met behulp van blokken zo klein als 2KB, die een veel hogere deduplicatieverhouding dan vrijwel elke andere deduplicatie software.
• Gelijkenis gebaseerd deduplicatie prestaties zijn verbeterd.
• nauwkeurigheid Gratis geheugen detectie is ook verbeterd.

Wat is nieuw in versie 2.3:

• Deze versie lost een aantal bugs en biedt een aantal verbeteringen in efficiëntie en prestaties.
• De Gelijkenis detectie effectiviteit voor gelijkenis gebaseerd bijna exacte deduplicatie is verbeterd.
• Tegelijkertijd geheugenvereisten voor de index is verminderd.
• De nauwkeurigheid van de gegevens verdeling tussen onderwerpen is verbeterd.
• Chunking en indexeren van de prestaties zijn verbeterd en de KMV Sketch berekening is nu nauwkeuriger.
• Deze release gaat all de kern functionaliteit in een gedeelde bibliotheek ter voorbereiding van een API-interface die in toekomstige versies zal worden ingevoerd.

Wat is nieuw in versie 2.2:.

• Dit is voornamelijk een Bugfix versie
• Het lost een aantal ongevallen met ongeldige invoer en problemen op te bouwen op Debian6 en oudere niet-SSE4 processors.
• De Min-heap-based Gelijkenis matching voor Delta Encoding is verbeterd en sneller en nauwkeuriger.
• De nauwkeurigheid van schaalbare gesegmenteerde Global Deduplication is verder verbeterd tot meer dan 95% zijn.
• Meer testcases zijn toegevoegd.

Wat is nieuw in versie 2.1:.

• Deze versie voegt veel bugfixes en prestatieverbeteringen
• De nauwkeurigheid bij het vinden van duplicaten in Global Dedupe is verbeterd.
• SHA256 is nu de standaard blok hash-algoritme voor deduplicatie, met de mogelijkheid om deze apart te veranderen van de brok verificatie hash.
• Over het algemeen, veel performance verbeteringen zijn aangebracht, met een betere parallellisme, meer SSE vectorisering, en sneller sorteren en het verbeteren van het segment hash lijst file handling, wat resulteert in kleinere I / O en minder willekeurig toegangen.
• Insecten in de berekening van in-memory indexgrootte is vastgesteld om te voorkomen dat overloopt vrij RAM-geheugen en swappen naar disk.