RAID oppsett for 15 disker

[bjornoss]

Som emnetittelen sier så er jeg ute et forslag til RAID oppsett av 15 disker.

 

Jeg kan først fortelle litt om hardware. Vi har en Dell PowerEdge 2950 Server som er koblet til en Dell PowerVault MD3000i (iSCSI). Denne har plass til 15 SAS/SATA disker. Diskene vi bruker er av typen SAS 10000 rpm 400 GB. Pr i dag så har vi satt det opp med 3x RAID 5 med 5 disker i hver. For et par dager siden så gikk den ene disken ned og jeg begynte å tenke på at det ville vært kjedelig om én til hadde blitt ødelagt før jeg fikk erstattet den gamle.

 

I en oppdatering fra Dell til MD3000i så er det mulig å benytte RAID level 6 i tillegg til de andre som har vært støttet: 0, 1, 5, 10. Det jeg nå vurderer er å endre oppsettet til enten 2x RAID 6 á 7 disker + en disk som hot spare. Eventuelt ha kun ett RAID 6 med 14 disker, og igjen én disk som hot spare. Det jeg er ganske sikker på er at sikkheten vil øke ved å velge den første løsningen da to (3 med hot spare) disker kan ryke uten at dataene blir borte. Men vil dette ha noe å si for ytelsen, de samme dataene er jo spredd utover flere disker som vil i teorien gi ytelse (i alle fall leseytelse). Og våger jeg å ha ett eneste RAID 6 med 14 disker(!), da sparer jeg jo plassen på to disker samt at ytelsen kan bli enda noe bedre, eller?

 

Dataene på diskene er slik at det er vktigere med sikkerhet enn med hastighet, men samtidig ønsker vi å utnytte plassen så godt som mulig, da det er sankk om mye data.

 

Setter pris på alle tilbakemeldiger. Og hvis dere har helt andre forslag til oppsett enn det jeg skriver så kom gjerne med det også...

 

- Bjørn Håkon

[jpsalvesen]

Ett raid med 13 disker og 2 i hotspare høres greit ut, synes jeg.

 

Husk også at lasten blir jevnere på diskene jo flere disker du har i RAID'et. Det kan deg nesten dobbelt så god performance å gå for 13+2 istedet for 6+1 og 7+1.

 

Hva bruker du disksystemet til? En svær database, eller er det forskjellige systemer som skal være uavhengige av hverandre?

[bjornoss]

Takk for svaret, jeg ser poenget ditt. Så da går jeg nok for en én-RAIDs løsning over alle diskene + hot spare.

 

Diskplassen blir hovedsaklig brukt til PDF og bildefiler, det er snakk om flere millioner filer... Disse filene blir lastet ned via nettet så det vil uansett ikke stå på diskene. Men ved noen anledinger så har jeg hatt brukt for å flyttet en god del filer og da er det jo kjekt at det går litt raskt.

 

En annet spørsmål, jeg har en MD1000 koblet til MD3000i, også med 15 stk 10000 rpm SAS disker, disse er på 300 GB.

Skulle gjerne satt opp noen av disse for maksimal ytelse på databasen, samt en Lucene index. Databasen er liten, < 3 GB, og Lucene indexen er på rundt 30 GB. I dag er det gjort slik at database dataene er på én RAID 5 med 5 disker, Write-Ahead-Log (postgresql) er på en egen og Lucene på egen. Disse partisjonene brukes samtidig til annen lagring, dumt å "kaste bort" flere hundre GB med plass. Det hadde selvfølgelig vært mest gunstig å hatt dette på dedikerte disker. Kanksje jeg skulle satt opp fire (eller fler) disker i RAID 10 eller noe? Noen forslag?

[jpsalvesen]

En annet spørsmål, jeg har en MD1000 koblet til MD3000i, også med 15 stk 10000 rpm SAS disker, disse er på 300 GB.

Skulle gjerne satt opp noen av disse for maksimal ytelse på databasen, samt en Lucene index. Databasen er liten, < 3 GB, og Lucene indexen er på rundt 30 GB. I dag er det gjort slik at database dataene er på én RAID 5 med 5 disker, Write-Ahead-Log (postgresql) er på en egen og Lucene på egen. Disse partisjonene brukes samtidig til annen lagring, dumt å "kaste bort" flere hundre GB med plass. Det hadde selvfølgelig vært mest gunstig å hatt dette på dedikerte disker. Kanksje jeg skulle satt opp fire (eller fler) disker i RAID 10 eller noe? Noen forslag?

 

Her ville jeg vurdert LVM. Igjen - målet er å fordele lasten på diskene slik at ingen av dem blir bottleneck. Samtidig ønsker vi denne gangen å sørge for at vi ikke kaster bort storage - derfor kan vi bruke LVM til å lage forskjellige filsystemer. Jeg antar at dette er ønskelig - men det kan godt være at du like gjerne kan lage ett eneste stort filsystem dersom alt går på samme maskin. Man mister mindre plass dersom man unngår unødvendig partisjonering..

 

Så:

 

Lag en svær disk gjennom samme metodikk som du bruker på den andre løsningen - 13+2 eller så. På dette oppretter du tre logical volumes: LV-PG (tja - 6gb?), LV-Lucene (40-60 gb?) og LV-storage (resten minus litt i tilfelle du ønsker å utvide de andre logiske volumene).

[CrZy_T]

På første greien ville jeg enten vurdert 2x 7disk RAID5 med en hot-spare, evnt 1x 14 disk RAID6 + 1 hot-spare avhengig av krav til skriveytelse, store volum og serviceavtale på kabinettet(med innhold).

 

Eneste grunnen for å velge 1x 13disk RAID5 over 1x 14disk RAID6 er kravet til skriveytelse (som igjen heller fremmer 2x 7disk RAID5) eller frykten for behovet for recovery (Det er fortsatt veldig tidkrevende og på grensen til umulig å hente ut data fra et korrupt RAID6).

[deviant]

Ett raid med 13 disker og 2 i hotspare høres greit ut, synes jeg.

 

Jeg antar at MD3000i er utstyrt med en eller to interne PERC5 kontroller(e). I så fall er det optimalt med 6-7 disker i RAID5/6 sett. Et større antall disker vil i følge Dell gå ut over ytelsen. RAID 6 har også dårligere ytelse enn RAID 5.

 

Dell har forresten et NOS team som du kan spørre om anbefalinger. Jeg mener du har anledning til å opprette 2 saker i levetiden til en MD skuff.

 

Lucene indeksen synes jeg du skal ha cachet i RAM Her vil diskytelsen typisk spille en mindre rolle. Jeg bruker ofte et enkelt speilsett til å holde indeksen.

 

Databasen trenger jeg å vite litt mer om. Svært ofte vil transkasjonsbaserte relasjonsdatabaser oppnå betydelig bedre ytelse med RAID 1+0.

[bjornoss]

@deviant: takk for svar fra deg også. Ja, Dell har vært veldig hjelpsomme til nå så jeg bør nok snakke med dem også...

 

Så ditt forslag er å ha 2x RAID 5 pluss hot spare for at det ikke skal bli for mange disker i RAIDet?

 

Ang Lucene så skulle jeg mer enn gjerne hatt den i RAM men PE 2950 boksen har kun 16 GB med RAM og indeksen er som jeg skrev på nesten 30 GB. Og siden vi kjører Debian Linux så er vel en del av filene i alle fall automatisk cachet gjennom OS-cachen. Jeg skulle selvfølgelig aller helst brukt RAMDirectory men det har jeg som sagt ikke nok RAM til... I tillegg kan jeg nevne at indeksen oppdateres flere ganger i døynet, minst en gang i timen.

 

Databasen er PostgreSQL versjon 8. Størrelsen er på < 3 GB og det er mye både skriving og lesing, (les: brukes av en nettside med en god del brukere). Det er blant annet her det lagres referanser til de millionene av filene som ligger for det meste direkte på MD3000i boksen og delvis på MD1000 boksen. Pr i dag så har jeg som sagt WAL på en egen partisjon. Trenger du mer informajson så bare spørr så skal jeg svare så godt jeg kan...

[deviant]

@deviant: takk for svar fra deg også. Ja, Dell har vært veldig hjelpsomme til nå så jeg bør nok snakke med dem også...

 

Bare hyggelig! For å få gode svar på spesifike problemstillinger er det noen ganger nødvendig å spørre spesifikt etter en arkitekt eller NOS.

 

Så ditt forslag er å ha 2x RAID 5 pluss hot spare for at det ikke skal bli for mange disker i RAIDet?

 

Dersom ytelse er av betydning ville jeg gått den veien. Dersom tilgjengelighet er viktigst ville jeg kanskje sett i retning av RAID6, men sannsynligheten for feil på ett sett øker jo også med antall disker.

 

Jeg er litt i tvil om hvor effektiv lucene er i forhold til en databaseindeks når det innebærer utstrakt bruk av disk, men jeg ser uansett for meg at forholdvis få skriv gjør at lucene påvirkes i mindre grad av RAID 5 problematikk.

 

Dersom du ikke møter noen økonomiske begrensninger ville jeg kanskje likevel benyttet RAID 1+0 for både databasens datafiler og for lucene indeksen. Hvorvidt du bør dele diskene i seperate volumer, og hvorvidt du bør skille mellom loggfiler og datafiler er på ingen måte opplagt.

 

Jeg er faktisk grei erfaring med å putte diskene i ett stort raid 1+0 overlate alle bekymringer til I/O systemet. Ved bruk av flere hyller har jeg pleid å lage settene på tvers av hyllene, men jeg vet ikke hvor mye det egentlig har for seg.

Endret 26. mars 2009 av deviant