RAID for dummies og viderekommende

[kpolberg]

RAID er ikke backup punktum. RAID sikrer f.eks ikke sletting av feil filer osv. Så alltid sørg for kopi på 2 plasser, samt snapshoting slik at du kan rulle tilbake til tidligere versjon, i tilfelle filen skulle bli korrupt.

[johome]

Siste mnd har 3 disker tatt kvelden, kunne lett vært hele raid-1 oppsettet det.

Hva slags disker er snakk om?

Mine 4 Samsung F1 disker som jeg bl.annet bruker i RAID 1 , har vist seg å være stabile.

[War]

De har ikke tatt kvelden i et raid, helt random i forskjellige pcer.

Det er bare en tankevekker om at disker dør når som helst.

 

80GB IDE WD

40GB IDE (dell:-S)

Greit nok, er fra 2003 osv

Men WD R 10k rpm 150gb 11 mnd gammel brukt til spill døde også

så ny eller gammel, plutselig dør dem.

 

De diskene jeg har nå er 4 x 500gb WD green

6/7 disker som jeg har mistet fra år 2000 er fra WD.

 

Om jeg bruker freenas og kjører det på flash så har jeg 5 kliss like WD 500gb green disker

Hvilken raid er best da? Målet er å ikke miste data, selv om raid ikke er backup.

Endret 22. september 2009 av War

[Nizzen]

Litt Software raid resultater i ubuntu server:

 

6 stk samsung 500gb disker i raid-5. Ext4 filsystem.

 

mt@zerver:/mnt$ sudo hdparm -tT /dev/md0

 

/dev/md0:

Timing cached reads: 11634 MB in 2.00 seconds = 5821.35 MB/sec

Timing buffered disk reads: 596 MB in 3.01 seconds = 198.25 MB/sec

 

Skrivehastighet ble ca 182MB/s

 

Vet ikkje om dette er bra eller dårlig for software raid -5 i linux, da dette er min første software raid i linux. 4 disker er på "fakeraid" kontroller og 2 disker er på hovedkortet.

Endret 24. september 2009 av Nizzen

[War]

Jeg leker litt med raid, 2x 500gb disker

Menyen er litt rar, softwareraid, satt den til striped hva nå det betyr.

Nå er det 1 disk, på 1TB

Hva er opplegget med det? Slo sammen 2 disker?

[kpolberg]

Litt Software raid resultater i ubuntu server:

 

6 stk samsung 500gb disker i raid-5. Ext4 filsystem.

 

mt@zerver:/mnt$ sudo hdparm -tT /dev/md0

 

/dev/md0:

Timing cached reads: 11634 MB in 2.00 seconds = 5821.35 MB/sec

Timing buffered disk reads: 596 MB in 3.01 seconds = 198.25 MB/sec

 

Skrivehastighet ble ca 182MB/s

 

Vet ikkje om dette er bra eller dårlig for software raid -5 i linux, da dette er min første software raid i linux. 4 disker er på "fakeraid" kontroller og 2 disker er på hovedkortet.

Må vel egentlig si at dette var dårlige greier. Du burde fint klare over 300 mB/s, ofte mye å hente på å sette stripe_cache_size / read_ahead. Blokk størrelsen på raidsettet / filsystemet kan man og tjene enedel på.

 

Jeg leker litt med raid, 2x 500gb disker

Menyen er litt rar, softwareraid, satt den til striped hva nå det betyr.

Nå er det 1 disk, på 1TB

Hva er opplegget med det? Slo sammen 2 disker?

RAID0, slår sammen 2 disker, og skriver til begge samtidig. "Splitter" dataene i 2 mellom diskene.

[Nizzen]

Litt Software raid resultater i ubuntu server:

 

6 stk samsung 500gb disker i raid-5. Ext4 filsystem.

 

mt@zerver:/mnt$ sudo hdparm -tT /dev/md0

 

/dev/md0:

Timing cached reads: 11634 MB in 2.00 seconds = 5821.35 MB/sec

Timing buffered disk reads: 596 MB in 3.01 seconds = 198.25 MB/sec

 

Skrivehastighet ble ca 182MB/s

 

Vet ikkje om dette er bra eller dårlig for software raid -5 i linux, da dette er min første software raid i linux. 4 disker er på "fakeraid" kontroller og 2 disker er på hovedkortet.

Må vel egentlig si at dette var dårlige greier. Du burde fint klare over 300 mB/s, ofte mye å hente på å sette stripe_cache_size / read_ahead. Blokk størrelsen på raidsettet / filsystemet kan man og tjene enedel på.

 

 

Har du forslag til settings? Du er jo software raid kungen

Endret 25. september 2009 av Nizzen

[kpolberg]

echo 16384 > /sys/block/md0/md/stripe_cache_size
blockdev --setra 16384

 

Forøvrig kan det være en ide og teste med bonnie++, denne kjører endel tester på filoperasjoner o.l i tillegg til sekvensiell skriv/les test og rewrite.

Endret 25. september 2009 av kpolberg

[ATWindsor]

echo 16384 > /sys/block/md0/md/stripe_cache_size
blockdev --setra 16384

 

Forøvrig kan det være en ide og teste med bonnie++, denne kjører endel tester på filoperasjoner o.l i tillegg til sekvensiell skriv/les test og rewrite.

Hvordan gjør linux software-raid det med write back cache, og bruk av ram til caching? Om den bruker det og med dagens CPUer burde de være mulig å nå 500 -1000 MB/s? Men hva er realiteten? Hva slags hastigheter kan man regne med å nå (forutsatt "uendelig mange" disker)

 

AtW

[War]

RAID0, slår sammen 2 disker, og skriver til begge samtidig. "Splitter" dataene i 2 mellom diskene.

 

Hvordan kan jeg da lagre 1TB?

Da burde det stått 500GB som det står om jeg setter raid0

[kpolberg]

ehh, nei?

 

2x 500GB = 1TB

 

Forøvrig går det an å sjekke litt opp selv. Dette er forklart mange ganger i denne tråden, på dette forumet og ikke minst wikipedia. http://en.wikipedia.org/wiki/RAID#Standard_levels

 

Som jeg forklarte. Ta en tenkt fil på 10 MB, denne blir da "splittet" i 2 deler og lagrer 5 MB på hver disk. Veldig enkelt forklart.

[War]

Da er jeg med, hadde vært lettere om jeg kunne velge raid 1-2-3-4-5 osv og ikke med tekst.

Så raid 1 hadde jeg, lik data på begge og nå satt jeg den til raid 0 halv data på begge.

 

Jeg kunne også velge raid 5 selv med 2 disker, men trudde det var min 3 disker, jalla software.

[kpolberg]

Hvis du kan velge RAID5, vil jeg tippe den setter opp RAID5 i "degraded" modus, men med engang du får tredje disk i systemet vil den begynne på en rebuild.

[War]

Evt freeNas boot fra flash så den får den siste OS disken til ren lagring. tester det nå.

[espenoen]

Hvordan gjør linux software-raid det med write back cache, og bruk av ram til caching? Om den bruker det og med dagens CPUer burde de være mulig å nå 500 -1000 MB/s? Men hva er realiteten? Hva slags hastigheter kan man regne med å nå (forutsatt "uendelig mange" disker)

 

AtW

 

Dette lurer jeg på også. Hva er egentlig flaskehalsen på et Linux sw-raid (type 5/6). Virker som om resultatene folk poster er uforholdsmessig dårlige, uten at jeg har noen som helst formening om hvorfor de er det. CPU'en har vel ikke vært begrensende de siste 5 årene.

[kpolberg]

Rimelig lenge har den begrensende faktoren vært bus hastigheter. Gi meg noen utvalgte deler, og jeg skal klare å sette i sammen ett RAID sett som ikke vil være så langt vekke fra hw-raid. Til en kostnad som er langt lavere.

[espenoen]

Rimelig lenge har den begrensende faktoren vært bus hastigheter. Gi meg noen utvalgte deler, og jeg skal klare å sette i sammen ett RAID sett som ikke vil være så langt vekke fra hw-raid. Til en kostnad som er langt lavere.

Hvis en tar et par år gammelt AM2 system og setter i 3 stk Samsung F1 1TB i software raid 5. Hvilke hastigheter kan en forvente seg? Og hva er triksene?

 

edit: skrev ut noen unødige forkortelser

Endret 27. september 2009 av espenoen

[kpolberg]

200 mB/s les og 120-140 mB/s skriv, på store filer. Opprett RAID5 med stor block size, still inn stripe_cache_size til 16 / 32 mb, still på read ahead verdien. Samt bruk ett filsystem som duger(xfs), sett deg inn i hvordan du kan tweake xfs for bedre ytelse.

 

For å få til 200 mB/s les, må SATA kontrolleren stå på PCIe bussen, forøvrig hvis du skal få i nærheten av gbit på nettverket må nettverkskontrolleren også stå på PCIe bussen.

[ATWindsor]

200 mB/s les og 120-140 mB/s skriv, på store filer. Opprett RAID5 med stor block size, still inn stripe_cache_size til 16 / 32 mb, still på read ahead verdien. Samt bruk ett filsystem som duger(xfs), sett deg inn i hvordan du kan tweake xfs for bedre ytelse.

 

For å få til 200 mB/s les, må SATA kontrolleren stå på PCIe bussen, forøvrig hvis du skal få i nærheten av gbit på nettverket må nettverkskontrolleren også stå på PCIe bussen.

 

Ok, men da er det vel noe annet enn bus-hastigheten som begrenser? Et annet eksempel da, 8 Hitachi 1,5 TB eller 2 TB disker på en kontroller som kjører på 8x PCIe, hardwaren har greit potensial til å nå 1000 MB/s, vil man kunne nå det med software-raid i linux?

 

AtW

[kpolberg]

Vil ikke si noe bastant, men mener det burde gå fint. Men hvis dette er en filserver som står som NAS, så ser jeg ikke helt hva du skal med 900 mB/s raskere les, enn hva du vil ha tilgjengelig av "wire-speed".

 

Som en notis, har jeg 8x WD 500GB i Software-RAID5. Hver disk klarer ca 50-60 mB/s les. Raidet når 400 mB/s les, altså rimelig bra skalering.

Endret 28. september 2009 av kpolberg