BSD/UnixZFS lagringsserver - Solaris eller FreeBSD?

[Gjest Slettet+432]

Hei!

 

Jeg skal til å sette opp en lagringsserver for alt jeg har av media (video og bilder, litt lydfiler) i forbindelse med jobb. Selv har jeg aldri vært direkte borti ZFS, men jeg har lest og hørt såpass mye positivt om det, at jeg er ikke i tvil på det området. Har endelig fått bestilt og mottatt noe hardware, og ser frem til å få satt det opp, så snart jeg får systemdiskene mine.

 

Utviklingen kan dere følge og komme med innspill på bloggen - eller her på forumet, selvsagt. I det første blogginnlegget finner dere også bilder og spesifikasjoner.

 

Det jeg i all hovedsak lurer på, er hvilket operativsystem jeg skal velge. Det står mellom Solaris og FreeBSD. Jeg har mest lyst til å bruke Solaris, uten at jeg har noen begrunnelse for det. Det skal sies at jeg ikke har særlig erfaring med noen av disse, annet enn at jeg har installert de et par ganger. Men jeg har jo sett ting som er veldig greie å ha - for eksempel svcadm, containers, roles etc.

 

På en annen side virker det unektelig knotete å installere programvare når man må kompilere alt selv, og i hvert fall når man vil oppgradere ting og tang. Jeg må ærlig talt si at det ikke er helt my piece of cake. Jeg har ingen dedikerte ansatte til å ta seg av server/nettverksdrift, og vil ikke bruke veldig mye tid på rutineoppgaver, vedlikehold og oppgradering. Her har FreeBSD et klart fortrinn med ports.

 

Jeg setter pris på alle innspill og erfaringer fra dere som har peiling på dette.

[tingo]

apropos svcadm; FreeBSD har service(8).

[Gjest Slettet+432]

Ah, det visste jeg ikke. Uten å ha prøvd noen av dem - service virker som en light-versjon av svcadm da. Men om jeg egentlig har behov for så mye, er vel en annen ting.

[Sokkalf™]

Og apropos containers, så har vel FreeBSD jails.

 

For min del har jeg blitt litt skeptisk til Solaris etter at Oracle tok over Sun. Samtidig blir ZFS bare bedre og bedre i FreeBSD.

 

Edit:

Forøvrig, hvis bruken din av denne serveren skal stå i stil med resten av hardwaren, ville jeg absolutt ikke hatt noe mindre enn 8GB RAM. ZFS er svært glad i minne.

Endret 3. mars 2011 av Sokkalf™

[Gjest Slettet+432]

Ja, jeg har 8 GB RAM, har bare glemt å skrive 2 x i spesifikasjonene Godt mulig jeg utvider til det dobbelte etter hvert, men vi får se hvordan den yter med 8 GB først. Uansett, takk for tipset!

 

Når det gjelder jails vs containers har jeg hørt at containers er litt mer moden og kanskje litt mer gjennomført. Men jeg burde kanskje lese meg litt opp på det. Uansett vet jeg ikke helt om det er noe jeg trenger på en maskin som etter planen skal kjøre som filserver og bare det.

 

Hvorfor er du skeptisk til Solaris etter at Oracle tok over? Jeg kan ikke tro at de velger å gjøre noe så dumt som å slutte å utvikle det, tror du? Eller kommersialisere det igjen, er det det du tenker på? Det er vel en del som bruker det... Nei, vet ikke jeg. Jeg bryr meg forsåvidt ikke så mye om akkurat det heller, jeg syns det virker som et interessant operativsystem, og akkurat det kommer nok ikke til å være det som stopper meg. Jeg er mer ute etter en diskusjon som tar for seg mer tekniske fordeler og ulemper med FreeBSD og Solaris.

 

Forøvrig; er det noen som kan forklare meg hva deduplisering er, og om det er noe jeg trenger? Har forstått det sånn at det er hovedsaklig det som skiller ZFS-versjonene i FreeBSD og Solaris.

[Sokkalf™]

Ang. Oracle, så kuttet de jo f.eks ut OpenSolaris (som siden har blitt forket, Illumos tror jeg den heter). Gratis nedlasting av Solaris 10 ble vel også fjernet. "Gratis"-alternativene som er igjen er for ikke-kommersiel bruk.

 

Uansett er det mye enkelere å legge inn (og oppdatere) tilleggsprogramvare på FreeBSD (ihvertfall etter min mening).

 

Deduplisering er at data som ligger to eller flere steder (f.eks to like filer - men det opereres ikke på filnivå, men blokknivå) bare tar opp plassen til én. Såvidt jeg har fått med meg har utviklingen her kommet lenger på Solaris, men det skal heller ikke her være helt modent.

Endret 4. mars 2011 av Sokkalf™

[Gjest Slettet+432]

Ah, drit... Stemmer det, leste lisensen nå. Ufattelig teit gjort av Oracle, men de har jo alltid krevd i dyre dommer for all programvare de eier. Ser at OpenIndiana ikke er tilgjengelig i stable enda, så da er vel valget nødt til å falle ned på FreeBSD, skal jeg gjøre det lovlig.

 

Takk for forklaringen. Virker jo genialt, men jeg kan tenke meg at ZFS blir en god del mer ressurskrevende med deduplisering. Jeg får teste det ut når det kommer til FreeBSD.

[Snabel]

Litt off topic: Men er det problemfyllt og teste zfs med en installasjon av feks freebsd i Vsphere?

 

 

Snabelen

[ayucon]

Jeg har kjørt en rekke ZFS bokser, OpenSolaris, Solaris10 og Nexenta.

 

Testet ZFS på *BSD, men likte det ikke så godt. Prøvde å importere et ZFS array fra en død opensolaris boks på en FreeNAS 7.5 og det så bra ut til jeg prøvde å lese filer. Da bare tryna den maksimalt.

 

Installerte Ubuntu med Native ZFS PPA repoet og det fungerte alt brillefint.

 

Når det gjelder distroer for tiden liker jeg:

NexentaStor community ed (18TB free lisens)

NexentaCore <- Kjører en server med denne + nappit

OpenIndiana <- grei ytelse

 

ZFS på FreeBSD og varianter har jeg ikke så god erfaring med, men det har vel kanskje andre.

 

Tester en ny storageserver på Ubuntu med native ZFS port da jeg vil kjøre Plex og andre mediarelaterte ting på den boksen. (Misliker samba på linux vs CIFS sharing på Solaris dog).

[tingo]

Litt off topic: Men er det problemfyllt og teste zfs med en installasjon av feks freebsd i Vsphere?

Disclaimer: jeg har kun testet FreeBSD + zfs på fysiske bokser, ikke på virtualiserings-løsninger.

 

Men, siden vSphere (og mange andre virtualiseringsløsninger) lar deg definere flere virtuelle disker på en virtuell maskin, så ser jeg ikke hvorfor det skulle by på problemer å sette opp en virtuell maskin med FreeBSD og zfs for å teste funksjonaliteten.

Dersom du skal teste ytelse, så er jeg mer usikker på hvordan det vil gå.

[Sokkalf™]

Tja, jeg har en OpenIndiana-VM på vSphere/ESXi 5.0 nå. PCI-passthrough av en IBM ServeRAID M1015-kontroller gir meg native ytelse på diskene.

 

~110MB/sec over nettverk.

[Snabel]

Takk for svar, tenkte og bruke PCI passthrough med samme IBM kort

 

Snabelen

[Lindsay]

Jeg også har tenkt ut en sentral server fra supermicro bare basert på AMD og virtualisering. Spørsmålet mitt angående ZFS er om en kan settes opp ala LVM som i linux der er en kan adde disker etter behov så den sees som en stor?

 

Rack som er sett ut har 36 bays 2.5 tommer og blir et prosjekt som kan utvides over tid (forhandlinger med sambo) .

[Sokkalf™]

Du kan adde disker etterhvert, men du kan ikke adde disker til et eksisterende raidz. Hvis du f.eks har et raidz2 med 8 disker, så kan du f.eks adde 8 disker til og lage et nytt raidz2, som addes til samme zpool.

 

På denne måten vil alle diskene ses som et stort volum.

[Lindsay]

Oki da skjønner jeg hvordan zfs fungerer, så da er det bare forhandlinger som gjenstår ettersom har sett meg ut et system fra nextron

 

Eneste jeg vil spørre de om er å benytte det rack med 36 bays

[krislarsen]

Uten å ha lest tråden alt for nøye, så vil jeg anbefale bruk av ECC-ram på en ZFS-basert filserver. Filsystemet kan ikke ordne opp med dataråte som oppstår før ting er skrevet til disk. Og ECC er alltids en god ting på selve arbeidsstasjonen også.. Nettverket får man dessverre ikke gjort så alt for mye med.

[endrebjo]

Nettverket får man dessverre ikke gjort så alt for mye med.

Det finnes jo bøttevis med muligheter hvis en begynner å snuse på Cat6/7, skjerming, gode NICs og switcher i stedet for kina-greier, og kanskje til og med fiber. Og TCP-protokollen har ganske grei checksumming den også, så korrupte pakker er vel svært sjeldent.

[Sokkalf™]

Tja, man kan jo investere i 10GbE e.l, men det koster vel skjorta?

 

Ellers overfører jeg fint på rundt 100-110MB/sek med Samba med et Intel-kort i serveren og et Realtek-kort i den stasjonære maskinen, med en switch til 300kr og vanlig cat 5E. Da er det jo ikke så mye mer å hente før man bruker betydelig mer penger, vil jeg tro, og da er det kanskje ikke verdt det? (avhenger jo av hvilke behov man har, selvfølgelig)

[endrebjo]

Ah! Jeg tenkte kun dataintegritet. Å gjøre noe dramatisk med ytelsen (10Gb+) er nok dyrt ja, og "dessverre" må det investeres i alle ledd i kjeden hvis det skal ha noe for seg i et hjemmenettverk. I et større nettverk kan det jo holde med 10Gb på backbone og server.