RAID for dummies og viderekommende

[Reeve]

Hei, jeg har bygget egen freeNAS-server, som jeg i dag har 9 WD Red 4TB-disker satt opp i ZFS2 (tilsvarende RAID6), for å tåle dobbel diskfeil. Total brukbar lagringsplass er da ca. 24TB.

 

Etter jeg har bygget denne, oppdaget jeg Jottacloud, som jeg nå holder på å laste opp alt til, for å ha det som offsite backup.

 

Spørsmålet mitt er vel hvor mye folk stoler på cloud-basert backup? freeNAS-serveren fungerer ikke som backup, men jeg vil fortsatt sikre meg mot tap av data. Og med 500/500Mbit/s fiber, får jeg backet opp 1 gang i døgnet, som er mer enn nok til mitt bruk.

Kan jeg da like greit redusere til ZFS1, eller er det tilnærmet poengløst med 9 disker i ett array?

[Reeve]

Er det noen som kan anbefale et brukbart ATX hovedkort til software RAID6 (mdadm/linux) som har 8 eller flere SATA porter samt ECC RAM?

Jeg vil også anbefale Supermicro X9SRL-F. Det er forrige generasjon (LGA2011v1), men har alt du trenger, og er langt billigere om du er villig til å kjøpe brukt.

 

Jeg plukket opp et X9SRL-F på eBay til 800kr, en Xeon E5-2630L v2 (6C/12T) til 350kr, og 32GB ECC-RAM til 400kr.

 

Dette gir en PassMark-score på rundt 9000.

 

Om du ønsker det, får du også kompatible CPUer opp til E5-2690 (8C/16T, 2,9GHz) til rundt 800kr. (Passmark på ca. 14000)

 

Skal du ha tilsvarende ytelse på nybygg med X10SRL-F, må du ha Xeon 1650 v4, samt langt dyrere RAM (DDR4, vs. DDR3). Vi snakker minst 15,000 kr for HK, CPU og RAM, når tilsvarende ytelse brukt på forrige generasjon, koster ca. 2000kr, altså 1/7 del av prisen! Det avhenger selvsagt av bruken, men til mitt bruksområde, NAS og Plex-server, holder det i massevis.

 

Du kan fint få en hel server, til pris tilsvarende kun X10-hovedkortet fra Nextron.

Endret 9. april 2019 av Reeve

[siDDis]

Av cpuer, så er e5 2650V2 for 500kr helt ypperlig. God turbo og 8 kjerner, samt lavt strømforbruk. V1 cpuer anbefales ikkje.

[Reeve]

Jeg tenkte å komme med en liten oppdatering her. Da er endelig serveren (mer eller mindre) komplett.

Jeg venter fortsatt på HBA-kort slik at jeg kan koble til flere disker enn 10. I dag bruker jeg alle 10 portene til ett stort pool på 10x10TB, og kjører operativsystemet fra en USB-minnepenn. Dette er egentlig en grei løsning, men jeg ønsker mulighet til å sette inn SSD-er til å kjøre VMs fra, men dette er mindre viktig.

Under er specs på serveren i dag:

Hovedkort: Supermicro X9SRL-F (1200 kr)
CPU: Intel Xeon E5-2650 v2 (8C/16T) (600 kr)
RAM: 64GB Hynix 1600MHz DDR3 ECC (1100 kr)
Kabinett: Fractal Design Define XL R2 (900 kr)
PSU: Corsair VS650 (500 kr)
NIC: Intel X540-T2 10GbE RJ45 (800kr)
Boot-disk: Sandisk 16GB USB2 stick (79 kr)
Harddisker: 10x10TB WD Red (såkalt White Label, tatt ut fra eksterne WD Easystore/Elements harddisker) (16500 kr)

Totalpris blir da i underkant av 22,000kr for 100TB raw space. Det er verdt å nevne at hvis jeg skulle kjøpt ny hardware med tilsvarende ytelse, så ville prisen blitt minst det dobbelte (ca. 10,000 kr eller mer for serveren), og nye WD Red 10TB koster ca. 3500 kr per stykk, så totalpris på serveren, hvis man skulle kjøpt alt nytt, og i Norge, hadde kommet på ca. 45,000 - 50,000 kr. Langt over det jeg var villig til å betale.

Serveren kjører fortsatt freeNAS, med ett stort, kryptert ZFS2 pool. Dette gir meg ca. 67TB brukbar lagringsplass.

Ytelsen er også (etter min mening) god. Jeg overførte flere hundre GB i går, med gjennomsnittlig skrivehastighet på over 500MB/s. Mindre datamengder på under 50-60GB går som regel på 700-1000MB/s, ettersom det først skrives til hurtigminnet (ARC), før det blir dumpet til harddiskene.

Som nevnt før, så er nok 100TB "overkill" for mitt bruk, men det var disse diskene som gav meg flest GB for pengene, og da har jeg nok lagringsplass ut levetiden til diskene. I tillegg fylles de opp av både egne rips av mediasamlingen, i tillegg til GoPro/Dronevideoer (100Mbps bitrate blir fort store filer).

Det neste jeg nå ønsker, er UPS for å gi litt bedre sikkerhet mot strømtap/lynnedslag og lignende. Da er det i utgangspunktet kun brann og vannskade som står igjen som risikofaktorer. Det meste av egenprodusert materiale (drone/gopro/kamerafilming backes også opp i skyen, mens egen mediasamling er ikke kritisk å miste.

 

Edit: Bilder. Jeg synes serveren ser relativt ryddig ut, men ja, du ser litt ketchup- og sennepskabler her og der. Men den trenger heller ikke perfekt, da hele formålet er at den skal stå bortgjemt i boden, og bare fungere.

Endret 10. november 2019 av Reeve

[Nizzen]

Jeg tenkte å komme med en liten oppdatering her. Da er endelig serveren (mer eller mindre) komplett.

 

Jeg venter fortsatt på HBA-kort slik at jeg kan koble til flere disker enn 10. I dag bruker jeg alle 10 portene til ett stort pool på 10x10TB, og kjører operativsystemet fra en USB-minnepenn. Dette er egentlig en grei løsning, men jeg ønsker mulighet til å sette inn SSD-er til å kjøre VMs fra, men dette er mindre viktig.

 

Under er specs på serveren i dag:

 

Hovedkort: Supermicro X9SRL-F (1200 kr)

CPU: Intel Xeon E5-2650 v2 (8C/16T) (600 kr)

RAM: 64GB Hynix 1600MHz DDR3 ECC (1100 kr)

Kabinett: Fractal Design Define XL R2 (900 kr)

PSU: Corsair VS650 (500 kr)

NIC: Intel X540-T2 10GbE RJ45 (800kr)

Boot-disk: Sandisk 16GB USB2 stick (79 kr)

Harddisker: 10x10TB WD Red (såkalt White Label, tatt ut fra eksterne WD Easystore/Elements harddisker) (16500 kr)

 

Totalpris blir da i underkant av 22,000kr for 100TB raw space. Det er verdt å nevne at hvis jeg skulle kjøpt ny hardware med tilsvarende ytelse, så ville prisen blitt minst det dobbelte (ca. 10,000 kr eller mer for serveren), og nye WD Red 10TB koster ca. 3500 kr per stykk, så totalpris på serveren, hvis man skulle kjøpt alt nytt, og i Norge, hadde kommet på ca. 45,000 - 50,000 kr. Langt over det jeg var villig til å betale.

 

Serveren kjører fortsatt freeNAS, med ett stort, kryptert ZFS2 pool. Dette gir meg ca. 67TB brukbar lagringsplass.

 

Ytelsen er også (etter min mening) god. Jeg overførte flere hundre GB i går, med gjennomsnittlig skrivehastighet på over 500MB/s. Mindre datamengder på under 50-60GB går som regel på 700-1000MB/s, ettersom det først skrives til hurtigminnet (ARC), før det blir dumpet til harddiskene.

 

Som nevnt før, så er nok 100TB "overkill" for mitt bruk, men det var disse diskene som gav meg flest GB for pengene, og da har jeg nok lagringsplass ut levetiden til diskene. I tillegg fylles de opp av både egne rips av mediasamlingen, i tillegg til GoPro/Dronevideoer (100Mbps bitrate blir fort store filer).

 

Det neste jeg nå ønsker, er UPS for å gi litt bedre sikkerhet mot strømtap/lynnedslag og lignende. Da er det i utgangspunktet kun brann og vannskade som står igjen som risikofaktorer. Det meste av egenprodusert materiale (drone/gopro/kamerafilming backes også opp i skyen, mens egen mediasamling er ikke kritisk å miste.

 

Edit: Bilder. Jeg synes serveren ser relativt ryddig ut, men ja, du ser litt ketchup- og sennepskabler her og der. Men den trenger heller ikke perfekt, da hele formålet er at den skal stå bortgjemt i boden, og bare fungere.

 

I like it

[Nizzen]

On 9/1/2010 at 9:14 PM, Nizzen said:

Måtte jo oppdatere med Areca 1880ix-24 test

 

 

 

 

https://www.diskusjon.no/index.php?showtopic=1255245

 

 

Måtte bare bumpe denne her for å fortelle at Areca 1880ix-24 fungerer flott enda i serveren min ! Om noen lurte på kvaliteten på Areca  Areca 1883ix som også ble kjøpt dag 1 da den kom ut, lever også like bra

[Nimrad]

Det som er populært for tiden er å kjøpe eksterne HDD-er og åpne de. De fås til en helt annen pris. Søk på drive shucking på YouTube/Google.

DJViking skrev (1 time siden):

Med RAID: Er det mulig å bytte ut disker gradvis, en om gangen? Å kjøpe 8stk. 12TB disker til 4500kr kommer til å koste enormt dersom jeg må kjøpe dem alle på en gang. Og i tillegg må jeg gjøre det samme for sikkerhetskopi-serveren.

Hva bruker du serveren til? Jeg hadde QNAP NAS før, men bruken min tilsier jevn økning av behov for lagring. Jeg skiftet derfor til unRAID som ga meg muligheten til å oppgradere gradvis. Mye billigere over tid, pluss at det var et mye bedre system for mitt bruk også (media server, VM, backup og andre småting).

Endret 13. april 2020 av Nimrad

[Rudde]

Noen her som har brukt Ceph med "erasure code" for få noe tilsvarende RAID5 eller RAID6. Syns det finnes lite ressurser på bruk av ceph med erasure coding istedenfor replikering.

[siDDis]

Ja, Ceph er eit beist som eg ikkje anbefaler for heimebruk. For det krevje rett og slett altfor mykje av tid å drifte. Det er ein haug av konfigurasjonsinnstillingar og dokumentasjonen er og så som så. Det er også store endringar i frå versjon til versjon som gjør at du ynskje å oppdatere så ofte som mogleg. Og oppgraderinger av eit så ungt produkt kan ofte bli tidkrevjande.

For enterpriser så er serviceavtale med Red Hat sterkt anbefalt, ellers så må du ha ditt eige team med høg nivå av tekniske kompetanse.

Bortsett frå det, så er Ceph veldig interessant og kul teknologi. Raid bruker også erasure coding, forskjellen er at Ceph er eit distribuert system. For heimebruk, gå for ZFS. Stabilt og enkelt å drifte.

[Rudde]

siDDis skrev (2 timer siden):

Ja, Ceph er eit beist som eg ikkje anbefaler for heimebruk. For det krevje rett og slett altfor mykje av tid å drifte. Det er ein haug av konfigurasjonsinnstillingar og dokumentasjonen er og så som så. Det er også store endringar i frå versjon til versjon som gjør at du ynskje å oppdatere så ofte som mogleg. Og oppgraderinger av eit så ungt produkt kan ofte bli tidkrevjande.

For enterpriser så er serviceavtale med Red Hat sterkt anbefalt, ellers så må du ha ditt eige team med høg nivå av tekniske kompetanse.

Bortsett frå det, så er Ceph veldig interessant og kul teknologi. Raid bruker også erasure coding, forskjellen er at Ceph er eit distribuert system. For heimebruk, gå for ZFS. Stabilt og enkelt å drifte.

Problemet mitt er at jeg prøver å gjøre ting billigere for meg selv. Jeg startet i en verden hvor servere var livet og hadde ikke noe problem med å bla opp 25k for disker i en jafs. Noe jeg måtte da jeg kommer fra ZFS. Men når det er andre ting i livet enn harddisker ville jeg heller kjøpe en og en, så neste steg endte jeg på MDADM så jeg kunne utvide med en og en disk. Videre prøvde jeg unRAID for å ha muligheten til å ha disker av forskjellig størrelse men etter at det viste seg at alt annet i unRAID enn akkurat raid løsningen deres er helt ubrukelig, docker images første til kernel panics og teamet dems til tross for at jeg fant tråder med folk som opplevde det samme var helt uforstående til problemet og virket som om de overhode ikke ville eller vite hvordan de skulle ta tak i det.

Jo, hoppet en tur innom Windows Storage Spaces to veien å, men ble sjokkert over hvor ufleksibelt det var med tanke på hvor mye skryt de får for at det er fleksibelt. Og den forferdelige ytelsen jeg tidvis fikk med tilsvarende raid5 første til at jeg forlot det skipet raskt.

Jeg er nå kommet meg over på SnapRAID så jeg kan kjøre en vanlig linux distro men fordelen av at jeg ikke skal trenge disker av samme størrelse. Anser også det at jeg kun mister dataen på disken jeg taper som et stort plus og at jeg ikke trenger å ha alle diskene spinnende hele tiden og må betale strøm for alle 24/7. Problemet jeg nå har med SnapRAID og som jeg komplett overså da jeg egentlig stolte på dere egen sammenligning med andre aktører er jo at jeg ikke får lov å skrive data når jeg gjør Syncs, og at de feiler hvis jeg gjør det. Noe jeg må gjøre for å få parity beskyttelse noe som gjør NAS'en helt ubrukelig til mitt bruk da 24/7 er en del av det. Hadde planer om å koble opp noen CCTV kameraer til den å, men det er jo bokstavelig talt en umulig oppgave med SnapRAID.

Jeg har derfor funnet ut at Ceph med erasure code er noe for meg, da det tilsynelatende på papiret dekker de fleste ønskene og behovene mine.

Så misforstå meg rett, skulle gjerne hatt ZFS igjen, men det er dessverre bare blitt alt for dyrt, spesielt med disse 10-12 TB diskene som man gjerne kjøper idag. Jeg vet OpenZFS jobber mot å kunne la deg utvide zraids, disk by disk, men det har de jo snakket om i 4 år, og la frem en plan for for 2 år siden nå(?) men det er ikke på plass.

[siDDis]

Issuen er her, https://github.com/openzfs/zfs/pull/8853
men det er nok neppe dette som har høyest prioritet akkurat nå, ser ut som ZSTD compression https://github.com/openzfs/zfs/pull/9735 og persistent L2ARC https://github.com/openzfs/zfs/pull/9582 vil komme før det.

 

[Rudde]

Og derfor er ZFS ikke aktuelt og dette er hvorfor jeg nå ser til Ceph i desperasjon, da det ikke virker som om det er noe som fungerer der ute til tross for hvor mye rart det er der.

Endret 15. april 2020 av Rudde

[minim]

siDDis skrev (På 14.4.2020 den 20.06):

Issuen er her, https://github.com/openzfs/zfs/pull/8853
men det er nok neppe dette som har høyest prioritet akkurat nå, ser ut som ZSTD compression https://github.com/openzfs/zfs/pull/9735 og persistent L2ARC https://github.com/openzfs/zfs/pull/9582 vil komme før det.

 

Men nå har vel zol fått litt luft under vingene og linux miljøet er ikke like "trege og konservative" (satt på spissen) som bsd miljøet har vært så kanskje det er håp for å raskere få implementert ting som dette.  

[siDDis]

Det er ingen som er trege og konservative. Problemet har vore at arbeidet har vore splitta mellom 2 operativsystemer. Nå jobber alle saman for felles deling av kode. ZoL har hatt fleire utviklere, samtidig som det har også vore ein betydelig større jobb å tilpasse ZFS på Linux pågrunn av dens mange særheter.

Ein må hugse på at utviklinga her er community-drevet, minimalt med kommersielle krefter som sponser arbeidet, derfor det går treigt.

[Nizzen]

41 minutes ago, siDDis said:

Det er ingen som er trege og konservative. Problemet har vore at arbeidet har vore splitta mellom 2 operativsystemer. Nå jobber alle saman for felles deling av kode. ZoL har hatt fleire utviklere, samtidig som det har også vore ein betydelig større jobb å tilpasse ZFS på Linux pågrunn av dens mange særheter.

Ein må hugse på at utviklinga her er community-drevet, minimalt med kommersielle krefter som sponser arbeidet, derfor det går treigt.

om 20 år er arbeidet enda ikkje ferdig. Et evig betaprosjekt

[Rudde]

Nizzen skrev (6 minutter siden):

om 20 år er arbeidet enda ikkje ferdig. Et evig betaprosjekt

Hva mener du med ikke ferdig? Er Windows ferdig? Linux? Google? 

[Nizzen]

2 minutes ago, Rudde said:

Hva mener du med ikke ferdig? Er Windows ferdig? Linux? Google? 

Ingen ting blir ferdig av programvare som lever lenge  Bruker enda "raid z" med ubuntu server, men det meste er enda på Areca raid. 

Med Areca raid så er det ingen vedlikehold annet enn å bytte ut en disk om en dør. Ting bare virker uansett os jeg kobler det til. Utrolig kjekt å flytte array til nye maskiner, uten å fikkle.

 

 

[minim]

Nizzen skrev (34 minutter siden):

Ingen ting blir ferdig av programvare som lever lenge  Bruker enda "raid z" med ubuntu server, men det meste er enda på Areca raid. 

Med Areca raid så er det ingen vedlikehold annet enn å bytte ut en disk om en dør. Ting bare virker uansett os jeg kobler det til. Utrolig kjekt å flytte array til nye maskiner, uten å fikkle.

 

 

Sånn har jeg det med IBM serveraid kortet mitt også, men krasjer kortet så er alt tapt.. Det er det jeg ikke liker med hw raid og så er ZFS mye mer fleksibelt og kan skaleres greit oppover. Med mirroring kan jo et raid økes 2 disker i gangen så det er ikke krise sånn som det er i dag heller. 

[Nizzen]

6 minutes ago, minim said:

Sånn har jeg det med IBM serveraid kortet mitt også, men krasjer kortet så er alt tapt.. Det er det jeg ikke liker med hw raid og så er ZFS mye mer fleksibelt og kan skaleres greit oppover. Med mirroring kan jo et raid økes 2 disker i gangen så det er ikke krise sånn som det er i dag heller. 

Hvis en Arecakontroller ryker, så er ingen ting tapt. Da setter man bare inn en annen Arecakontroller. Trenger ikkje være samme generasjon engang, med mindre man har laget et array som bare støttes av aller nyeste firmware med spesielle settings.

Kan også øke arrayet med så mange disker jeg vil. Så om jeg vil øke arrayet med 8 disker, så setter man bare inn 8 disker, så fikser kontrolleren resten  Har Raid-6 på alt. Det viktigste er speilet til Jottacloud med "uendelig" lagringsplass.

Lurer på hva som ikkje er fleksibelt med Areca kontroller? Kan jo tilogmed ha 256 disker koblet til via expandere

Endret 23. juli 2020 av Nizzen

[Rudde]

Nizzen skrev (41 minutter siden):

Hvis en Arecakontroller ryker, så er ingen ting tapt. Da setter man bare inn en annen Arecakontroller. Trenger ikkje være samme generasjon engang, med mindre man har laget et array som bare støttes av aller nyeste firmware med spesielle settings.

Kan også øke arrayet med så mange disker jeg vil. Så om jeg vil øke arrayet med 8 disker, så setter man bare inn 8 disker, så fikser kontrolleren resten  Har Raid-6 på alt. Det viktigste er speilet til Jottacloud med "uendelig" lagringsplass.

Lurer på hva som ikkje er fleksibelt med Areca kontroller? Kan jo tilogmed ha 256 disker koblet til via expandere

Hvis du får bit rot i en HW-raid setup. Er det noe måte å hente ned de 2 potensielt forskjellige filene? Siden det er vanskelig å vite om det er blitt korrupt i parity eller på data. 

Kan vel koble sas expandere til alt som er sas?