WDC utvider lagringskapasiteten

[GullLars]

Jeg har allerede en Adaptec 5805 som burde klare 2 arrays på 4x2TB Raid5 glatt, og så kjøre mine mindre GP-disker som diverse backup fra SB.

Du vile fått bedre IOPS og sikkerhet om du kjørte den i raid 6 over 8 disker. Kan ikke si noe om raid 6 båndbredde på den kontrolleren. Likevel vanskelig å si nei takk til å få gratis lunch i pose og sekk...

Det jeg skal bruke nevnte RAID arrays til er "Bulk Storage", alså er IOPS praktisk talt irrelevant. Det eneste tilfellet jeg kan tenke meg disse vil bli utsatt for noen som helst form for random r/w er om fler leser og skriver til de samtidig over nettverket. For en slik bulk storage med lav load og så og si 100% sekvensiell workload, men som vil ha perioder med høy sekvensiell båndbredde er WD GP diskene midt i blinken, og Adaptec 5805 vil vell klare å dra ut 100+ MB/s av 4 disker i RAID5? (sitter på Gbit lan delt med 4 andre)

Når du nevner det er RAID6 med 8 enheter også en mulighet, men vil kontrolleren og filsystem være glad i et array med 12GB lagringskapasitet? Og må jeg eventuelt lage fler NTFS partisjoner?

[Anv]

...

For en slik bulk storage med lav load og så og si 100% sekvensiell workload, men som vil ha perioder med høy sekvensiell båndbredde er WD GP diskene midt i blinken, og Adaptec 5805 vil vell klare å dra ut 100+ MB/s av 4 disker i RAID5? (sitter på Gbit lan delt med 4 andre)

Når du nevner det er RAID6 med 8 enheter også en mulighet, men vil kontrolleren og filsystem være glad i et array med 12GB lagringskapasitet? Og må jeg eventuelt lage fler NTFS partisjoner?

 

WD Green gir max ~100MB/s og rundt 50MB/s min.

For å få max/min båndbredde i raid-5 kan du gange disse tallene med n-1.

(4 disker gir da 300-150MB/s)

Personlig er jeg ikke så begeistret for raid-5 med mer enn 5-6 disker.

 

Du kan bruke Dynamiske disker for store array, det funker helt greit.

[Anders Jensen]

Jeg har allerede en Adaptec 5805 som burde klare 2 arrays på 4x2TB Raid5 glatt, og så kjøre mine mindre GP-disker som diverse backup fra SB.

Du vile fått bedre IOPS og sikkerhet om du kjørte den i raid 6 over 8 disker. Kan ikke si noe om raid 6 båndbredde på den kontrolleren. Likevel vanskelig å si nei takk til å få gratis lunch i pose og sekk...

Det jeg skal bruke nevnte RAID arrays til er "Bulk Storage", alså er IOPS praktisk talt irrelevant. Det eneste tilfellet jeg kan tenke meg disse vil bli utsatt for noen som helst form for random r/w er om fler leser og skriver til de samtidig over nettverket. For en slik bulk storage med lav load og så og si 100% sekvensiell workload, men som vil ha perioder med høy sekvensiell båndbredde er WD GP diskene midt i blinken, og Adaptec 5805 vil vell klare å dra ut 100+ MB/s av 4 disker i RAID5? (sitter på Gbit lan delt med 4 andre)

Når du nevner det er RAID6 med 8 enheter også en mulighet, men vil kontrolleren og filsystem være glad i et array med 12GB lagringskapasitet? Og må jeg eventuelt lage fler NTFS partisjoner?

IOPS på de planlagte RAID 5 konfigurasjonene vil suge så kraftig at du nok vil merke det så snart to ting skjer samtidig, men poenget mitt er jo at du får i pose og sekk gratis med RAID 6 i dette tilfellet. Ingen grunn til å løpe fra det om en ikke må. Angående 12TB NTFS sågår det helt fint. Jobber med et på 30TB og to på 19TB. Funker helt greit og er langt innenfor NTFS begrensningene, men i følge M$ vil oppgaver som f.eks chkdsk ta en udefinert lang tid. I praksis fungerer det også fint, men de garanterer ingenting over 2TB.

 

Forøvrig regner jeg med adapteren støtter raidgrupper eller lignende med volumer slik at du kan gruppere alle 8 diskene sammen og legge separate volumer på toppen av dette, gjerne med forskjellig raid nivå. Vet at på Areca kan en f.eks ta alle diskene i en gruppe og legge et lite raid 10 først på disken og f.eks ett større raid 6 på slutten av diskgruppen. Da får du mange spindler til OS disk uten å svi av mye kapasitet.

[GullLars]

Dette er litt OT, men det ser ut som tråden har dødd ut, så jeg fortsetter bare diskusjonen.

 

Planen for filserveren er å ha en 30GB vertex som systemdisk (den andre jeg har skal i laptoppen), så snurrediskene skal utelukkende brukes til bulk storage. De minste filene som vil være lagret blir sansynligvis 3-5MB mp3 filer. Det er mulig det vil ligge noen få mapper med programmer som har filer i KB størrelsen, men disse skal eventuelt leses og skrives sekvensielt, så det bekymrer meg ikke. Pr dags dato har jeg ca 4-4,5TB med data som skal over på filserver når jeg får den opp.

 

Hvorfor er IOPS to slike RAID-5 dømt til å være dårlig? Èn GP disk klarer jo ca 100+ IOPS.

Og hvorfor er RAID-6 bedre på IOPS?

Begge løsningene vil vell klare 100MB/s sekvensielt? Eller 2 x 50MB/s til samtidige brukere sekvensielt? (jeg kjenner til benchmark grafen til GP diskene. Og også grunnleggende teori på RAID 5 og 6)

 

EDIT: Jeg vil gjerne høre argumentet for hvordan 8 disker i RAID-6 overgår 2 RAID-5 arrays på 4 disker hver.

Endret 3. september 2009 av GullLars

[Nizzen]

Jeg mener det bare er tull at man trenger hinsides mye iops på et lagringsarray. 4 brukere er jo ingen ting! MAn klarer sikkert ikkje å tyne arrayet med den kontrolleren på et gigabit nettverk alikevel. Det er jo ikkje database på arrayet. I tillegg vedder jeg nesten på at alle 4 brukerene kommer til å kopiere og slikt samtidig fra arrayet.

 

Har en Adaptec 31205 og den klarer ca 300 MB/s lesehastighet (store filer) i raid-5 med 4 stk 1 tb samsung disker.

[Anders Jensen]

Ekstra IOPS er bare en bonus som er for dumt å gå fra. Det er den forbedrede sikkerheten som er den viktige gevinsten med RAID 6.

 

Forøvrig er ikke RAID 6 bedre enn RAID 5 på IOPS, det er faktisk noe dårligere, men dobbelt så mange disker i samme array oppveier for det. Om du har to separate array vil også halvparten av diskene være idle mens den andre halvparten jobber hvis kun en jobb er i gang. Litt av kunsten med design av lagring er å holde alle spindler i gang da unngår en også hotspots enklere.

Endret 3. september 2009 av Anders Jensen

[GullLars]

Ekstra IOPS er bare en bonus som er for dumt å gå fra. Det er den forbedrede sikkerheten som er den viktige gevinsten med RAID 6.

 

Forøvrig er ikke RAID 6 bedre enn RAID 5 på IOPS, det er faktisk noe dårligere, men dobbelt så mange disker i samme array oppveier for det. Om du har to separate array vil også halvparten av diskene være idle mens den andre halvparten jobber hvis kun en jobb er i gang. Litt av kunsten med design av lagring er å holde alle spindler i gang da unngår en også hotspots enklere.

Jeg tenker jeg kommer til å lage en egen tråd om dette på server-forumet før jeg skal bestille, men jeg tar litt til i samme slengen her før jeg gir meg

 

Poenget med denne filserveren er å ha en massiv "bulk storage", eneste ytelseskravet jeg stiller er at ytelsen klarer å mette et 1Gbit nett, og ikke tape for mye ytelse om 2-3 skulle finne på flytte noen titalls GB samtidig. Beregnet aktiv tid etter all data er flyttet over på serveren er ca 5-10%, muligens litt mer om de jeg bor med bestemmer seg for å streame i stedet for å kopiere hele filer. Alikevell vil serveren stå uten load store deler av dagen. Tanken min er at om jeg har 2 arrays er det en del større sjangs for at et array vil stå idle lenge nokk til å spinne ned, og være i slik strømsparemodus mer av tiden. Hotspots gjør ingen ting, siden det lokale nettet er flaskehalsen.

 

En annen ting er effekten av disk-krasj. Om èn disk krasjer på 2-array oppsettet vil bare ett av disse ha redusert ytelse til ny disk blir satt inn.

 

Når det gjelder random IOPS hadde det ikke brydd meg om disse arrayene hadde hatt 10-20 så lenge sekvensiell IOPS og streaming har god ytelse. Hele kapasiteten skal utelukkende brukes til lagring, og worst-case scenario er 4-5 streaming reads (media) + 2-3 kopieringer samtidig.

[Nizzen]

En Adaptec 5805 er jo faktisk en av de bedre kontrollerene som finnes på markedet, så ytelsen vil være veldig bra på både raid-5 og raid-6.

 

Jeg ville personlig valgt raid-6 da man vil få bedre ytelse av 1 stor raid -6 i forhold til 2 stk mindre raid-5. IOP 348 som kontrolleren har, ER faktisk en raid-6 IOP (raid-6 engine). Kontrolleren er altså optimalisert for raid-6.

 

En sammenlikning mellom raid-5 og raid -6 på 10 dsiker (sas) fikk jeg ca 800MB/s lesehastighet med raid-6 og ca 900 MB/s med raid-5

 

Dette med samme IOP 348 på Areca 1680ix da.

 

Ytelsen på iop 348 med raid-6 er veldig bra!

[Anders Jensen]

Hadde ikke sjekket kontroller på Adaptecen. Med IOP 348 vil raid 6 båndbredde ikke være noe problem.

 

Eneste gode argument for raid 5 her er muligheten til spindown. Alt annet er bare oppspinn.

 

Det som er kjipt med store disker i raid 5 er at du blir sårbar veldig lenge når en disk er ødelagt. Dør det en til under rebuild, som er ekstra stort stress for arrayet så må en over på backup. Forøvrig vil IOP 348 ikke gi degradert ytelse i dette tilfellet under rebuild. Diskene er ikke så raske at de klarer å stresse kontrolleren.

[Simen1]

Syntes ikke prisen var så ille jeg. Men jeg tørr ikke ha så store disker etter alle krasjene jeg har hatt oppigjennom. Burde vel ha skaffet meg r5 eller noe, men men.

Som nevnt bør du finne ut hva som gjør at akkurat din PC er så utsatt for krasj. Fiks det og sats på en trygg lagringsmåte med backup av alt du synes er viktig. Om du lagrer på mange små eller en stor disk spiller ikke i nærheten så stor rolle for sikkerheten som backup vs ikke backup. Mange små disker er mer usikkert enn en stor, men ikke heng deg så opp i det. Gjør heller det eneste smarte: Ta backup!

[ATWindsor]

Det som er kjipt med store disker i raid 5 er at du blir sårbar veldig lenge når en disk er ødelagt. Dør det en til under rebuild, som er ekstra stort stress for arrayet så må en over på backup. Forøvrig vil IOP 348 ikke gi degradert ytelse i dette tilfellet under rebuild. Diskene er ikke så raske at de klarer å stresse kontrolleren.

 

Er det så enormt mye mer stress på arrayet? En rebuild består vel grovt sett i å lese alt som ligger på disk på de tre andre diskene? Sliter det noe mer på arrayet enn å lese fra det vanlig? Evt å scanne arrayet som man gjør jevnlig?

 

AtW

Endret 3. september 2009 av ATWindsor

[Anders Jensen]

Det som er kjipt med store disker i raid 5 er at du blir sårbar veldig lenge når en disk er ødelagt. Dør det en til under rebuild, som er ekstra stort stress for arrayet så må en over på backup. Forøvrig vil IOP 348 ikke gi degradert ytelse i dette tilfellet under rebuild. Diskene er ikke så raske at de klarer å stresse kontrolleren.

 

Er det så enormt mye mer stress på arrayet? En rebuild består vel grovt sett i å lese alt som ligger på disk på de tre andre diskene? Sliter det noe mer på arrayet enn å lese fra det vanlig? Evt å scanne arrayet som man gjør jevnlig?

 

AtW

Nei, men det kommer jo i tillegg til de overnevnte. Du trenger ikke lete lenge etter noen med flere raid 5 arrays som har vært borti at det tryner før eller under rebuild. Med store disker blir sannsynligheten noe større enn med små disker.

[ATWindsor]

Det som er kjipt med store disker i raid 5 er at du blir sårbar veldig lenge når en disk er ødelagt. Dør det en til under rebuild, som er ekstra stort stress for arrayet så må en over på backup. Forøvrig vil IOP 348 ikke gi degradert ytelse i dette tilfellet under rebuild. Diskene er ikke så raske at de klarer å stresse kontrolleren.

 

Er det så enormt mye mer stress på arrayet? En rebuild består vel grovt sett i å lese alt som ligger på disk på de tre andre diskene? Sliter det noe mer på arrayet enn å lese fra det vanlig? Evt å scanne arrayet som man gjør jevnlig?

 

AtW

Nei, men det kommer jo i tillegg til de overnevnte. Du trenger ikke lete lenge etter noen med flere raid 5 arrays som har vært borti at det tryner før eller under rebuild. Med store disker blir sannsynligheten noe større enn med små disker.

 

Nei, det er jo forsåvidt greit nok det, men man trenger ikke å lete lenge etter mange eksempler på at en rebuild har gått bra heller. Jo lengre tid det tar, jo større er jo sannsynligheten for at det skjer noe uheldig under rebuilden. For meg som hjemmebruker så tar jeg sjangsen på å vente noen dager (få tilsendt disk pluss rebuild)

 

AtW

[GullLars]

Gode argumenter for RAID-6 her. Spørsmålet er bare hvor stor faren er for dobbel krasj på RAID-5 (i løpet av 2-4 dager) vs fordelen av mer tid i spin-down på 2x RAID 5.

 

Jeg må si med infoen her frister RAID-6 veldig.

 

Dere som har erfaring med lignende kontrollere på høyere RAID nivåer, tror dere 8 WD GP disker i RAID-6 vil klare 5 brukere som streamer media samtidig med èn les eller skriv kopiering hver gående? Dette er alså maks sansynlig peak, og over Gbit LAN, så "klarer" vil her da bety å mette 1Gbit linja... Det vil egentlig overraske meg om RAIDet noen sinne får mer enn 2-3 media streams samtidig med 2 les eller skriv transfers.

[Nizzen]

Gode argumenter for RAID-6 her. Spørsmålet er bare hvor stor faren er for dobbel krasj på RAID-5 (i løpet av 2-4 dager) vs fordelen av mer tid i spin-down på 2x RAID 5.

 

Jeg må si med infoen her frister RAID-6 veldig.

 

Dere som har erfaring med lignende kontrollere på høyere RAID nivåer, tror dere 8 WD GP disker i RAID-6 vil klare 5 brukere som streamer media samtidig med èn les eller skriv kopiering hver gående? Dette er alså maks sansynlig peak, og over Gbit LAN, så "klarer" vil her da bety å mette 1Gbit linja... Det vil egentlig overraske meg om RAIDet noen sinne får mer enn 2-3 media streams samtidig med 2 les eller skriv transfers.

 

Mediastream er ikkje noe problem. Du kan sikkert ha 10 brukere som streamer data fra arrayet før det hakker i pr0n filmene. Dette sier jeg uten å ha noe tall på det da. Eneste jeg vet ganske sikkert er at 8 disker i raid-6 holder for ditt bruk LETT!

[GullLars]

Grunnen til mengden disker er som sagt kapasiteten, og RAID-6 for sikkerheten.

Da tror jeg at jeg har bestemt meg for RAID-6

 

BTW, tro det eller ei, men jeg har ikke noe p0rn på PC'n i det hele tatt (hvis du ikke regner toppløse wallpapers da ), og har ikke hatt det siden USB-kontrolleren i den ene MyBook'en min tok natta og sletta all info på disken (slettet partisjon og lagde korrupt data... gadd ikke prøve å redde biter). Den dagen forsvant det noen GB kan man si

[Anders Jensen]

Nei, det er jo forsåvidt greit nok det, men man trenger ikke å lete lenge etter mange eksempler på at en rebuild har gått bra heller.

hehe det motsatte hadde jo vært litt trist og gjort RAID ganske nytteløst...

 

Gullars: Lesing fra store paritets-raid har tilsvarende samme ytelse som lesing av raid 10 og raid 0. Der raid 0 og 10 har lesehastighet på n har raid 5 n-1 og raid 6 n-2. Hvis n er stor så er n-2 nesten lik n. Regner med du tar den som har vært på NTNU og greier.

 

For sekvensiell skriving er det samme regnestykke, men paritetsmotoren kan bli en flaskehals på eldre kontrollere.

 

MEN SÅ:

 

For små skrive jobber blir det noe annet. raid 5 blåser opp en liten skriveoperasjon til to les og to skriv så du får n/4 skriveytelse for random write, forutsatt at du ikke har WBC, som heller ikke hjelper hvis datasettet er mye større enn cache. Med raid 6 blir det vel tre les og tre skriv ut av en liten skriveoperasjon, så; n/6, og n/2 for raid 10. raid 0 får n ytelse altså perfekt skalering hele veien fra 1 disk i teorien.

 

Forøvrig fint at du vurderer RAID 6 nå. da har jeg gjort min ubetalte jobb for dagen.

Endret 3. september 2009 av Anders Jensen

[GullLars]

Kjenner tallene bak teorien, men teori kan ikke alltid overføres til praktisk ytelse direkte. Det finnes flaskehalser og diverse instillinger ytelsen avhenger av.

[marsboer]

Når disse 2TB diskene faller i pris slik at de ikke koster mer enn 1TB diskene per GB så blir det utbytting av mine nåværende 5 1TB disker (WD Black Edition seff)

 

WD Black edition har alltid vært overlegne konkurrentene på alt av mer tilfeldig lesing (sikkert på grunn av den doble CPUen for omstokking av forespørsler), i hvertfall i følge de tester jeg har sett med markedets andre 1TB alternativer.

 

1.5 TB er ikke et alternativ, siden Seagates disker generelt er helt på jordet om dagen, både firmware messig og ytelsesmessig på alt annet enn sekvensiell lesning.

 

2TB har ikke vært aktuelt til nå siden usle 5400rpm og 3W spart eller noe i strøm definitivt er uaktuelt.

Men ENDELIG kommer black edition til 2TB også! Hurra!

 

Da flytter jeg 5TB RAID5 arrayet fra filserveren til backupserveren min, så får jeg mer plass til backup (da får jeg plass til backup av DVD-samlingen min også)

 

Kjører forøvrig Linux software raid5 (mdadm) siden dette maxer gigabit linken mot Debian-serveren. Et hardware RAID-kort vil med andre ord ikke gi meg noe mer opplevd ytelse siden gigabiten uansett er begrensningen per i dag.

[Nizzen]

Nå må du slutte å si at Seagate har problemer med firmware. Det er LENGE siden nå, og det er fikset