RAID for dummies og viderekommende

[Nizzen]

1 hour ago, Rudde said:

Hvis du får bit rot i en HW-raid setup. Er det noe måte å hente ned de 2 potensielt forskjellige filene? Siden det er vanskelig å vite om det er blitt korrupt i parity eller på data. 

Kan vel koble sas expandere til alt som er sas? 

Vel, nå har jeg hørt om "bit rot" i mange år, og har kjørt raid siden SCSI dagene. Enda ikkje hatt noe problem med det. Har iallefall ikkje merket noe til det. Så merker man noe, så er det samma for meg. I gamledager var det problem med korrupte ting på 3,5" og 5,25" disketter. I senere tid er det mest en snakkiss. Det er min påstand.

Kan nok koble til sasexpandere på mye, men er nok langt ifra alt som funker og er kompatibelt.

Endret 23. juli 2020 av Nizzen

[Rudde]

Nizzen skrev (30 minutter siden):

Vel, nå har jeg hørt om "bit rot" i mange år, og har kjørt raid siden SCSI dagene. Enda ikkje hatt noe problem med det. Har iallefall ikkje merket noe til det. Så merker man noe, så er det samma for meg. I gamledager var det problem med korrupte ting på 3,5" og 5,25" disketter. I senere tid er det mest en snakkiss. Det er min påstand.

Kan nok koble til sasexpandere på mye, men er nok langt ifra alt som funker og er kompatibelt.

Nei, bot rot er jo bare en bit da. Og si du har videofiler eller bilder treffer det nok pixeldata som da kan endre fargetonene litt opp eller ned. Er nok ikke noe de fleste merker. Men er greit å være foruten om mulig. Men den kan jo også treffe metadata på feil sted og gjøre hele filen korrupt. Eller en textfil og endre meningen til teksten. 

[Nizzen]

8 minutes ago, Rudde said:

Nei, bot rot er jo bare en bit da. Og si du har videofiler eller bilder treffer det nok pixeldata som da kan endre fargetonene litt opp eller ned. Er nok ikke noe de fleste merker. Men er greit å være foruten om mulig. Men den kan jo også treffe metadata på feil sted og gjøre hele filen korrupt. Eller en textfil og endre meningen til teksten. 

Høres veldig flott ut i teorien. Som sagt så har jeg ikkje merket til noe av dette i de åra jeg har hatt mange 100TB med data. Overklokka servere tilogmed. Når "problemet" er så lite at det ikkje merkes, da sover jeg godt om natta
Det er så lite problem at det knapt finnes ROT i virkeligheten

 

For å si det slik: Brukerfeil er seriøst MYE større problem ved lagring...

Endret 23. juli 2020 av Nizzen

[Gjest Sletttet+98134]

Tror det er dumt å fortelle om hva som er store problemer eller ikke hvis man bare ser på hjemmelagring. At du ikke ser et problem på en « hjemmeserver» betyr ikke at problemet ikke finnes. Har eksempelvis selv mistet over 40 disker samtidig pga en feil på en kjøler, problemer man ikke ville opplevd hjemme.

[Nizzen]

8 minutes ago, Fleskefjeset said:

Tror det er dumt å fortelle om hva som er store problemer eller ikke hvis man bare ser på hjemmelagring. At du ikke ser et problem på en « hjemmeserver» betyr ikke at problemet ikke finnes. Har eksempelvis selv mistet over 40 disker samtidig pga en feil på en kjøler, problemer man ikke ville opplevd hjemme.

Ingen har sagt noe annet enn at vi snakker om "hjemmeserver" her. Ellers hadde det blitt nevnt  

[Gjest Sletttet+98134]

Nizzen skrev (Akkurat nå):

Ingen har sagt noe annet enn at vi snakker om "hjemmeserver" her. Ellers hadde det blitt nevnt  

Står nå RAID i trådtittelen om jeg ikke ser feil.

[Nizzen]

4 minutes ago, Fleskefjeset said:

Står nå RAID i trådtittelen om jeg ikke ser feil.

Ja, vi har jo Raid hjemme

Edit: Hva skjedde egentlig med de 40 diskene som døde? Brant dem opp i et flammehav?

Endret 23. juli 2020 av Nizzen

[Gjest Sletttet+98134]

De feilet. En diskusjon om RAID som bare omhandler hjemmeservere altså.

Endret 23. juli 2020 av Sletttet+98134

[Nizzen]

6 minutes ago, Fleskefjeset said:

De feilet. En diskusjon om RAID som bare omhandler hjemmeservere altså.

Det har jeg ikkje sagt, men de siste postene er ikkje noe annet enn typisk hjemmeserver opplegg. Så hva vil du EGENTLIG frem til? Har du noe å bidra med

Forresten så sa jeg ikkje at problemet med bitråte ikkje fantes, men problemet kan umulig være utbredt. "Alle" snakker om det, men "ingen" har sett det.  

Endret 23. juli 2020 av Nizzen

[siDDis]

Bitråte er eit problem, nå har eg brukt ZFS i over 10 år, og totalt over ca 100 harddisker og ssd'er så har eg opplevd fleire GB med råteskader.

Når du ikkje har noko overvåkning så vett du heller ikkje om kor råten har skjedd.

Men det kjekkaste med ZFS er jo compression og snapshots.

[Rudde]

Nizzen skrev (48 minutter siden):

Høres veldig flott ut i teorien. Som sagt så har jeg ikkje merket til noe av dette i de åra jeg har hatt mange 100TB med data. Overklokka servere tilogmed. Når "problemet" er så lite at det ikkje merkes, da sover jeg godt om natta
Det er så lite problem at det knapt finnes ROT i virkeligheten

 

For å si det slik: Brukerfeil er seriøst MYE større problem ved lagring...

Sant nok. Var bare interessert i om det var mulig. Har du kjørt scrub mot mdadm før hvor det har vært noe korrupt data. Men siden det ikke er noen sjekksum involvert vet åpenbart ikke md om det er parity det er noe feil med eller dataen.

Har du opplevd noe lignende når du har kjørt en scrub på areca kortet før?

Husker selv jeg var mer fornøyd med md når jeg byttet fra md fordi det ikke var så mye mas med det, det bare kjørte mens ZFS ga med advarsler om alt mulig rart piss. Men hadde 2 ZFS arrays kjørende som jeg har hatt gående i 10 år nå. Kjørte en scrub på begge for noen mnd siden hvor det ble funnet en instans av bitrot på en array som ble korrigert. Små pools da siden disse kun var med 2 TB og 3 TB disker.

[Gjest Sletttet+98134]

Nizzen skrev (10 minutter siden):

Det har jeg ikkje sagt, men de siste postene er ikkje noe annet enn typisk hjemmeserver opplegg. Så hva vil du EGENTLIG frem til? Har du noe å bidra med

Forresten så sa jeg ikkje at problemet med bitråte ikkje fantes, men problemet kan umulig være utbredt. "Alle" snakker om det, men "ingen" har sett det.  

Ja, og jeg sier du tar feil. Du kan ikke basere deg på én hjemmeserver når du snakker om RAID og bitråte.

[Nizzen]

1 minute ago, siDDis said:

Bitråte er eit problem, nå har eg brukt ZFS i over 10 år, og totalt over ca 100 harddisker og ssd'er så har eg opplevd fleire GB med råteskader.

Når du ikkje har noko overvåkning så vett du heller ikkje om kor råten har skjedd.

Men det kjekkaste med ZFS er jo compression og snapshots.

Ikkje rart du får bitråte når du kjøper gammel og råtten hardware fra ebay

Min påstand er slik: 300+ harddisker og 100+ ssder og INGEN Bitråte  Ingen bevis, men det har heller ikke du

[Rudde]

siDDis skrev (2 minutter siden):

Bitråte er eit problem, nå har eg brukt ZFS i over 10 år, og totalt over ca 100 harddisker og ssd'er så har eg opplevd fleire GB med råteskader.

Når du ikkje har noko overvåkning så vett du heller ikkje om kor råten har skjedd.

Men det kjekkaste med ZFS er jo compression og snapshots.

Hva er greia med ZFS folks obsession med compression? Hva slags data er det dere lagrer som får så mye ut av compression? Ingen data jeg larer har noe som helst nytteverdi av komprimering. Og tror de færreste vanlige hjemme forbrukere har stor nytteverdi av det heller. Ja, det skader ikke å ha det på. Men det betyr ikke at det er nye nytteverdi av å ha det på.
 

Snapshots kan man vel også få i LVM idag?

[siDDis]

Du mener enterprise SSD'er som koster mer enn Arecakontrolleren per TB her i Norge?

[siDDis]

Rudde skrev (Akkurat nå):

Hva er greia med ZFS folks obsession med compression? Hva slags data er det dere lagrer som får så mye ut av compression? Ingen data jeg larer har noe som helst nytteverdi av komprimering. Og tror de færreste vanlige hjemme forbrukere har stor nytteverdi av det heller. Ja, det skader ikke å ha det på. Men det betyr ikke at det er nye nytteverdi av å ha det på.
 

Snapshots kan man vel også få i LVM idag?

Databaser, f.eks PostgreSQL er supereffektiv med compression. Får lett 4x meir lagringsplass med LZ4, 8x med GZIP, med ZSTD så får eg 8X med GOD ytelse i tillegg. SQL Server får eg også litt, men kvar blokk må framleis være 4kb, så det blir ikkje like effektivt der, men i snitt 1.5x til 2x.

ZFS sine snapshot er mykje raskere enn LVM og ZFS snapshots kan også være atomiske mellom filsystemer, så lenge de er på samme pool. F.eks så kan eg ta backup av SQL Server databaser på fleire TB kvar femte minutt. Er det viktig data så er det uansett lurt å ha en logg buffer som Kafka/Pulsar.

Cloning er også gjort fort, samt send & receive over SSH.
Trenger eg å teste noko på SQL server på en annen dev maskin så er den oppe og går på sekunder istedenfor å måtte vente dager på manuell backup av flere TB skal taes + overføres.

[Rudde]

siDDis skrev (11 minutter siden):

Databaser, f.eks PostgreSQL er supereffektiv med compression. Får lett 4x meir lagringsplass med LZ4, 8x med GZIP, med ZSTD så får eg 8X med GOD ytelse i tillegg. SQL Server får eg også litt, men kvar blokk må framleis være 4kb, så det blir ikkje like effektivt der, men i snitt 1.5x til 2x.

ZFS sine snapshot er mykje raskere enn LVM og ZFS snapshots kan også være atomiske mellom filsystemer, så lenge de er på samme pool. F.eks så kan eg ta backup av SQL Server databaser på fleire TB kvar femte minutt. Er det viktig data så er det uansett lurt å ha en logg buffer som Kafka/Pulsar.

Cloning er også gjort fort, samt send & receive over SSH.
Trenger eg å teste noko på SQL server på en annen dev maskin så er den oppe og går på sekunder istedenfor å måtte vente dager på manuell backup av flere TB skal taes + overføres.

Jeg har klar over fordelene til komprimering i database applikasjoner. Men dette blir fremdeles dratt frem i vær eneste tråd om ZFS når det gjelder en hjemme NAS som mest sannsynlig kommer til å være stappfull av komprimerte bilder, komprimert musikk, og komprimert video. Hvor det overhode ikke har noen effekt.

[siDDis]

Nei seff, har det ingen effekt på sånt, kan ikkje komprimere ting som er allereie komprimert.
Men det har effekt på f.eks Steambiblioteket, men ikkje meir enn 1.5x.

[tingo]

FreeNAS bruker zfs - det vil ha "software raid", ikke bruk hardware RAID-kontroller sammen med zfs.

[Nimrad]

ProphetSe7en skrev (16 timer siden):

Du kan jo vurdere unraid fremfor freenas. Jeg har aldri hatt en enklere hverdag etter jeg byttet til unraid. Alt er så enkelt og brukervennlig. Før var det alltid på google for å undersøke hvordan docker skulle installeres, hvordan bytte en disk som ble defekt i array osv. 

+1, unraid er det beste kjøpet jeg har gjort på lenge.