Jonathan Schwarz, de CEO van SUN, heeft in een toespraak over de ontwikkelingen van Sun vandaag gemeld dat Apple volgende week op de WWDC ZFS zal aankondigen als hun standaard disk formaat.

...this week at the WWDC Apple will announce ZFS as the file system in OS X

(Vrij vertaald: ...deze week op de WWDC zal Apple ZFS aankondigen als het bestands-formaat in OS X)


HFS+ wat vanaf systeem 8.1 in gebruik was lijkt daarmee in de geschiedenisboeken te belanden (het zal natuurlijk nog wel herkend worden, maar waarschijnlijk niet verder ontwikkeld worden)

Wil je de toespraak zien van deze CEO, neem dan hier een kijkje en zet de slider op zo'n beetje een derde van het totaal.

Hoewel hij trouwens veel interessants te melden heeft moet je absoluut niet een presentatie zoals Steve Jobs die geeft verwachten, deze is alleen te bekijken als je goed uitgerust bent.

Niet echt nieuws, toch?
Time Machine werkt niet goed zonder ...

In de eerdere builds van Leopard draaide Time MAchine weldegelijk onder HFS+.

Zie bv. onderaan deze threat:

http://storagemojo.com/?p=213

Hij zegt niet dat het het 'default' filesystem wordt onder OS X en dat Leopard ZFS zou gaan ondersteunen was al een tijdje bekend.
Ik ben dus benieuwd of hij met "the" echt "THE" bedoelde, of dat het geen nieuws blijkt te zijn.

Interessant nieuws van forumlid, enigszins aangepast en: Onderwerp verplaatst.

En behalve voor timemachine, wat heeft ZFS verder nog voor voordelen?

de voordelen kan je hier vinden
http://en.wikipedia.org/wiki/ZFS vertaaldhttp://nl.wikipedia.org/wiki/ZFS

Dit had ik ook al verwacht, aangezien ZFS sinds kort "bootable" is voor meerdere OSen (voorheen kon je ZFS niet als bestandsformat op je bootschijf gebruiken). Maar toch is het fijn om bevestiging te horen.

ZFS is echt een enorme verbetering t.o.v. HFS+. Met ZFS zul je alleen data kwijtraken als de schijf er mee ophoud, niet omdat het bestandssysteem een steekje laat valen (wat met HFS+ nog wel eens voorkwam).

ZFS heeft ook een mooie "pooled storage"-model en een verbeterde variant van RAID 5 (RAID Z), maar dat is alleen interessant voor servers en desktops met meerdere schijven. Zelf vind ik de technieken die toegepast zijn om je data te behoeden en om backups te maken het meest interessant.

Delftenaar om 10:23, 7-06-2007
ZFS is echt een enorme verbetering t.o.v. HFS+. Met ZFS zul je alleen data kwijtraken als de schijf er mee ophoud, niet omdat het bestandssysteem een steekje laat valen (wat met HFS+ nog wel eens voorkwam).

ZFS is ook gewoon door mensenhanden geschreven en dus net zo vatbaar voor gevallen steekjes. Eerder vatbaar zelfs, want het is domweg ingewikkelder, meer code, meer acties op schijf en dus meer kans op fouten. Verder is HFS+ keibetrouwbaar; fouten ontstaan eigenlijk altijd doordat externe oorzaken (crashende programma's ver voorop, gebruikers die plotseling de stekker er uittrekken op een goede 2e plaats) verhinderen dat files en tabellen bijgehouden kunnen worden en er dus een inconsistent filesysteem ontstaat. Dat kun je HFS+ niet aanwrijven. Een auto is ook niet slecht als ie in de kreukels ligt als je met 100km/uur tegen een betonnen muur aanrijdt.
ZFS is net zo gevoelig voor dit soort problemen, maar de gevolgen (kwijtraken van data) zullen vermoedelijk minder vaak gaan voorkomen. Dat is in ieder geval een voordeel.
Bedrijfsmatig is hét grote voordeel dat je zonder veel boe of bah een schijf aan je opslagsysteem kunt toevoegen. Extra backups en eindeloos wachten tot alle data weer op z'n plek staat is niet meer nodig. Nou nog een hot-pluggable HD-aansluiting (SATA?) en je hoeft je server er niet eens meer voor af te zetten.

Ey mensen, misschien domme vraag maar wat houd ZFS in? Ik heb
het op Wikipedia gelezen maar snap het nog niet. Kan iemand het in
'gewoon' Nederlands uitleggen?

mvg,
TJ

hitchhiker om 17:48, 7-06-2007
ZFS is ook gewoon door mensenhanden geschreven en dus net zo vatbaar voor gevallen steekjes. Eerder vatbaar zelfs, want het is domweg ingewikkelder, meer code, meer acties op schijf en dus meer kans op fouten. Verder is HFS+ keibetrouwbaar; fouten ontstaan eigenlijk altijd doordat externe oorzaken (crashende programma's ver voorop, gebruikers die plotseling de stekker er uittrekken op een goede 2e plaats) verhinderen dat files en tabellen bijgehouden kunnen worden en er dus een inconsistent filesysteem ontstaat. Dat kun je HFS+ niet aanwrijven. Een auto is ook niet slecht als ie in de kreukels ligt als je met 100km/uur tegen een betonnen muur aanrijdt.
ZFS is net zo gevoelig voor dit soort problemen, maar de gevolgen (kwijtraken van data) zullen vermoedelijk minder vaak gaan voorkomen. Dat is in ieder geval een voordeel.
Bedrijfsmatig is hét grote voordeel dat je zonder veel boe of bah een schijf aan je opslagsysteem kunt toevoegen. Extra backups en eindeloos wachten tot alle data weer op z'n plek staat is niet meer nodig. Nou nog een hot-pluggable HD-aansluiting (SATA?) en je hoeft je server er niet eens meer voor af te zetten.

Ummm, misschien is het een idee om naar ZFS te google-en om wat meer informatie op te doen, want als je enige argument is dat de kwetsbaarheid van ZFS even groot is als die van HFS+ omdat ze allebei met mensenhanden zijn geschreven, dan kan je nog wat bijscholing gebruiken.

HFS+ heeft in mijn ervaring (en in mijn omgeving) iig zeker een keer of 4 een steekje laten vallen - data dat per ongeluk over ander data is geschreven, niet kunnen omgaan met HD sectors die falen, enz. Dat is niet te wijten aan "mishandeling", omdat ik (en andere Macgebruikers in mijn omgeving) gewoon netjes met onze Macjes omgaan.

Er is een PDF van Sun op internet beschikbaar met veel uitgebreide informatie over de verbeteringen in ZFS tov de gevestigde filesystems. Aan het einde staat een stukje over hun testprogramma, ik citeer:

Jeff Bonwick van Sun ("vader" van ZFS)
Nightly “ztest” program does all of the following in parallel:
- Read, write, create, and delete files and directories
- Create and destroy entire filesystems and storage pools
- Turn compression on and off (while filesystem is active)
- Change checksum algorithm (while filesystem is active)
- Add and remove devices (while pool is active)
- Change I/O caching and scheduling policies (while pool is active)
- Scribble random garbage on one side of live mirror to test self-healing data
- Force violent crashes to simulate power loss, then verify pool integrity

Probably more abuse in 20 seconds than you'd see in a lifetime. ZFS has been subjected to over a million forced, violent crashes without losing data integrity or leaking a single block.

No way dat HFS+ dat zou volhouden. Aparte checksums voor iedere block en copy-on-write, dit zijn nieuwe technieken die data veel beter beschermen tegen alle klassieke boosdoeners als het om databeschadiging gaat.

Maargoed, als je echt vind dat HFS+ even goed is, moet je dat vooral blijven gebruiken.

Theis Jan om 18:09, 7-06-2007
Ey mensen, misschien domme vraag maar wat houd ZFS in? Ik heb
het op Wikipedia gelezen maar snap het nog niet. Kan iemand het in
'gewoon' Nederlands uitleggen?

mvg,
TJ

Ik wil het wel proberen...

Kort samengevat:

Databescherming:
- "Copy-on-write" dat ZFS niet, zoals in meeste gangbare filesystems, "live" data aanpast (overschrijft) wanneer je een bestand bewaard. Er is dan een "nieuw" bestand gemaakt en pas als die in zijn volledigheid is geschreven wordt de oude data losgelaten als vrije ruimte.
- Per block checksum, dat wil zeggen dat er per block een soort van optelsom is, waar aan te zien is of de block klopt (dus 1+1+1=2 is fout -> bad block). Wat ze heel handig gedaan hebben, is dat deze checksum niet vast zit aan de block, maar aan de block "er boven" (in de hierarchy). Dit voorkomt dat als een block naar de knoppen gaat de checksum ook is verdwenen en dataherstel niet meer mogelijk is.
- "Transactional", dwz dat alle schrijf operaties "alles of niets" zijn. Dus geen halve of onvoltooide schrijfoperaties.
- Snapshots en clones: een clone is een schrijfbare backup van je filesystem en een snapshot en een soort "delta", dwz dat alleen veranderingen aan bestanden en niet de bestanden zelf wordt opgeslagen. Dit kan zelfs "on disk", dus meerdere snapshots op de zelfde HD als de data zelf - na een "copy-on-write"-transactie wordt de "oude" data gewoon niet losgelaten als vrije ruimte zijnde. Je betaald dus wel met schijfruimte, maar het schijnt mee te vallen hoeveel daar voor nodig is omdat het alleen om de "delta" gaat.

Snelheid:
ZFS past allerlei slimme I/O-trucjes toe wat het een stuk sneller maakt tov andere filesystems.

Meerdere schijven / RAID:
ZFS heeft een handig "pooled-storage"-model, wat eigenlijk wil zeggen dat je alle HD's die je tot je beschikking hebt samen kunt voegen tot 1 grote virtuele schijf. Op zich niets nieuws, maar ZFS pakt het net ff wat slimmer aan door deze stap te integreren met de filesystem, terwijl andere filesystems eerst een aparte volumemanager nodig hebben om schrijven samen te voegen voordat ze geformateerd kunnen worden. ZFS "weet" hoeveel schijven er zijn. Bonusje: je kun makkelijk een schijf toevoegen om je virtuele schijf te vergroten, wat normaal niet mogelijk is bij huidige opstellingen.
Dat is allemaal leuk en aardig, maar als een HD ermee kapt, dan ben je alsnog data kwijt, omdat in dit model niet voor "redundancy" voorzien is. Maar daar heeft ZFS ook slimmigheidjes voor: je kunt verschillende RAID modellen volledig in software toepassen en dan zonder veel van de limitaties die gangbare RAID toepassingen onder lijden (ja, ook hardware RAID). De RAID 1 model (mirroring, dus 2 schijven die elkaar "spiegelen", alle data wordt naar beide geschreven) van ZFS zorgt voor snellere leestijden. Nog gaver is RAID Z, een RAID 5 implementatie maar dan zonder de bekende "write hole" waarvoor vaak een hardwarematige oplossing wordt gezocht (duur).

Dat laatste zegt (en boeit) je waarschijnlijk het minst, maar is heel gaaf voor serverbeheerders en mensen in bezit van desktops met meerdere schijven (doelgroep van Sun). Voor je iMacje of MB(P) is vooral dat van de databescherming en snelheid interessant.

Dankje Delftenaar! Dus als ik nou nieuwe bestanden aanmaak verwijderd
hij ergens ruimte om mijn bestanden te schrijven. Raar... heb je dan niet
dat bestanden foetsie raken? Of wordt als je iets weg gooit het met iets
beschreven dat eigenlijk niks is?

En met het nieuwe wordt het oude niet weggeschreven, oftwerwijl met
het nieuwe blijven de oude bestanden bestaan, dus kan je je oude be-
standen weer vinden in theorie en daarvoor is Timemachine. Maar wordt
je schijf dan op den duur helemaal vol of verwijderd hij sommige bestanden
wel definitief. Ik hoop dat ik hiermee de spijker op de kop sla want dan
snap ik het!

mvg,
TJ

EDIT:
Klopt het ook dat sommige OS'n met sommige ZFS, enz overweg kunnen en
sommige formaten niet. Dus Windows met FTS en Linux met FAT32, of zie ik
dit helemaal fout?

(Bewerkt door Theis Jan om 23:39, 7-06-2007)

In de huidige situatie (dus bijv. met HFS+), als je een bestand weggooit dan is het niet zo dat deze gewist wordt van je HD. Er wordt gewoon door de filesystem genoteerd: waar hier vroeger een bestand was, is nu vrije ruimte. Oftewel, de data is niet meer "live" en er kan nieuwe data op die plek geschreven worden. Als je een bestand AANPAST, dus als je met Word bezig bent op een reeds bestaand document en je klikt op Save/Bewaar, dan wordt er "live" data aangepast - vaak overschreven - en daar kan het dus misgaan. Wat ZFS doet is die aanpassing (de "delta") aan het bestand eerst apart opslaan op een stukje vrije ruimte, om dan vervolgens de "oude data" (dwz alle zinnetjes die je net aangepast/verwijderd hebt uit je document) vrij te geven als vrije ruimte. Tenzij je dus snapshots aan heb staan (voor bijvoorbeeld Time Machine, al vraag ik mij af of Apple het zo zal implementeren), dan wordt de "oude" data niet vrijgegeven. Dit kost schijfruimte ja en als je niet instelt dat ie snapshots na zoveel dagen/weken/maanden weggooit dan raakt je HD idd vol, maar de snapshots zelf zijn niet zo groot. Dit komt omdat een snapshot refereert aan een bestaand en alleen een "negatieve delta" (soort weg terug naar de oude versie van het bestand) opslaat. Op een Word document van 50KB waar je een paar zinnetjes hier en daar heb aangepast is dat dus echt peanuts. Op een videobestand kan het al wel oplopen, maar daar valt het eigenlijk ook wel mee - het is immers alleen de delta, en niet het hele bestand wat gesnapshot wordt.

Nadeel van snapshots op dezelfde schijf is dat als de schijf er mee ophoud, je alsnog alles kwijt bent. Als Apple idd ZFS gebruikt, zie ik Time Machine eerder een extern schijf gebruiken (zoals nu in de huidige beta het geval is met een HFS+ implementatie). Daar wordt dan een clone van de gewenste data gemaakt aan de hand van je Time Machine instellingen (hele systeem, alleen bestanden, alleen bepaalde bestanden, enz.), dat vervolgens up to date wordt gehouden met snapshots. ZFS is gewoon een veel efficientere en snellere filesystem voor toepassingen zoals Time Machine.

Theis Jan om 23:36, 7-06-2007
EDIT:
Klopt het ook dat sommige OS'n met sommige ZFS, enz overweg kunnen en
sommige formaten niet. Dus Windows met FTS en Linux met FAT32, of zie ik
dit helemaal fout?

FAT32 en NTFS zijn de filesystems van Windows, Linux heeft een uitgebreid assortiment aan filesystems. Een filesystem moet in de kern van een OS geimplementeerd worden (behalve als je FUSE gebruikt, maar dat is een ander verhaal wat hier nvt is), dus wat voor filesystem een OS gebruikt hangt helemaal van de programmeerteam af die de "kernel" beheert. Mac OS X, bijvoorbeeld, kan worden gedraaid op verschillende varianten van HFS+, maar kan tegelijkertijd naar meerdere andere filesystems lezen en/of schrijven (bijv. NTFS [alleen lezen], FAT32, UDF [filesystem van CD/DVD-R/W]). Deze andere filesystems zijn alleen niet "bootable" voor Mac OS X. Windows kan daarentegen helemaal niet overweg met HFS+, omdat Microsoft daar geen rekening mee heeft gehouden in de Windows kernel (er zijn overigens software pakketen die dit wel mogelijk maken).

Ah ik snap het, bedankt(!). En hoe kan je die snapshots verwijderen? En is dit
zonder risico?

mvg,
TJ

Ja, de snapshot wordt dan gewoon weer vrijgegeven als vrije ruimte. Aangezien zo'n snapshot niet het bestand zelf bevat maar de veranderingen die nodig zijn om hem te herstellen naar een oude versie, is dat zonder risico.

Dank u voor alle info! Een digitaal compliment!

Ik hoop dat het de moeite was - straks wordt er morgen niets over gezegd!!!

Ach, ZFS komt hoe dan ook in zekere vorm voor in Leopard, zij het alleen als optie of misschien alleen voor de Server versie, we zullen zien.

Jammerrrrrrrr...

Maargoed, ZFS was in Disk Utility te vinden in developer builds van Leopard van maanden geleden, dus er kan nog vanalles gebeuren (*hoop*).

Citaat: Information Week via AppleInsider

An Apple spokesperson contacted InformationWeek on Tuesday seeking to clarify Croll's statement. "Croll was apparently supposed to indicate that ZFS would be available as a limited option, but not as the default file system."

Dus toch (een beetje, dan).

Read only...

Dat is nou echt jammer.

Ik heb nu 2 dagen geworsteld met de mededeling dat ZFS "read-only" is in Leopard en ik kom toch tot de conclusie dat dit verhaal nog een staartje krijgt.

ZFS is gloednieuw en komt bijna nergens voor. Waarom ondersteuning bouwen in Leopard, zij het read-only, voor een filesystem die (nog) niemand gebruikt? Ook als Sun producten gaat leveren met ZFS (OpenSolaris, servers en hardware RAID-producten), zijn dit niet bepaald items waar Mac-gebruikers mee in contact komen. Dat Apple systemen inmiddels FAT32 en NTFS kunnen formateren en lezen heeft alles te maken met dat deze filesystems door de marktaandeel van Windows veel voorkomen (en in Bootcamp worden gebruikt om een Windows-partitie te maken).

Ondanks wat tegen Information Week is gezegd door die Apple-bobo denk ik nog steeds dat ZFS in een veel bredere toepassing voor zal komen als Leopard in october eindelijk klaar is. Zeer waarschijnlijk alleen in de Serverversie en dan waarschijnlijk ook alleen als optie voor andere schijven dan de bootschijf (tenzij de ZFS-Boot-project veel vorderingen maakt tussen nu en october). Net zoals "Journaled" HFS+ eerst op Mac OS X Server beschikbaar was en later pas op de "Client"-versie, denk ik dat het met ZFS precies hetzelfde zal verlopen.

Woohoo!

Nu nog boot-support!