Raid 5 i linux

[Roger J.]

Hei! vurderer å sette opp en filserver med 5+1spare i software basert raid 5, og lurer på om linux selv kjører rebuild på sparedisken hvis en av de andre ryker, og om størrelsen på volumet automatisk øker når man har gått fra 500 1000GB disker? Eller for å si det slik: Vil lagringsplassen alltid være (n-1)Smin selv etter bytte til større disker.

 

Svar settes stor pris på!

[Sokkalf™]

Er ikke sikker, men tror nok den kan settes til å automatisk ta i bruke spare-disken. Jeg ville ihvertfall forventet det..

 

Når det gjelder størrelsen på volumet og større disker, så er jeg ikke sikker på om jeg følger deg helt.

På et RAID-5 vil formelen du oppgir alltid gjelde, så om du har 5x500GB disker, tar ut en og setter inn en 1000GB disk, vil du ikke få noe større plass på raidet. Du vil imidlertid få en disk med 500GB upartisjonert plass du kan bruke til hva du vil. (Siden linux software raid opererer på partisjoner og ikke "raw" disk devices).

 

Bytter du gradvis ut alle diskene, vil du til slutt få 500GB ledig på alle, og hvis du da har et lurt system med LVM og et filsystem som støtter resizing, vil du i teorien kunne utvide raidet til å utnytte all plassen. Eventuelt kan du lage et raid-array til på den ledige plassen.

[Roger J.]

... og hvis du da har et lurt system med LVM og et filsystem som støtter resizing, vil du i teorien kunne utvide raidet til å utnytte all plassen. Eventuelt kan du lage et raid-array til på den ledige plassen.

 

Hva er LVM?

 

Du har forstått meg rett... Skal kjøre linux på egen disk utenom arrayet, og lurer på om det da vil være vanskelig å få tilgang til arrayet igjen i tilfelle systemdisken ryker, og om det vil være vanskeligere hvis man da har 2 array istedet for ett?

[Sokkalf™]

LVM er Logical Volume Manager.

 

Jeg har egentlig ikke så mye erfaring med linux software raid. Kjører et mirror på serveren, uten LVM. I tillegg har jeg testet et RAID-5 under openSUSE. Da satte installasjonsprogrammet opp både RAID og LVM for meg, har et inntrykk av at det er litt komplisert å gjøre "for hånd".

 

Klarte ikke å finne så mye info om dette, men vet at mange bruker Software raid + LVM + XFS-filsystemet for å få til det du er ute etter. Selv gikk jeg for et litt mer vrient OS og en lettere raid-løsning isteden (Solaris + ZFS i raidz).

 

Tilgang til arrayet skal gå bra om du får bootet igjen med en ny systemdisk og en linuxversjon som støtter md (RAID) (og LVM om du bruker det). Det gjør vel stort sett alle distroer, vil jeg tro.

Vil råde deg til å ha backup av systemdisken, og spesielt configfilene til md og LVM.

[Roger J.]

Noen som kan anbefale en bestemt distribusjon til dette oppsettet, eller er det det samme hvilken jeg bruker? Sjekket Ubuntu Server Edition, men den ser ut til å være i beta.

Endret 14. januar 2009 av Amphion

[HawP]

Jeg vil tro at de fleste distroer kan brukes til dette så lenge den har md/raid støtte i kernel (moduler medregnet) og mdadm er inkludert (men "Linux on a floppy" og andre "spesialiserte" distroer funker kanskje ikke så bra). Det viktigste er nok hvilken versjon av kernel og mdadm som følger med.

 

For fra kernel 2.6.17 og mdadm 2.4 skal raid 5 kunne økes eller minkes "på direkten" (etter det jeg kan skjønne fra info jeg finner). Dvs. at starter du med f.eks. 3x500 og seinere øker disse til 3x1000 så skal du kunne øke raidet til å bruke hele disken. Men en må da kanskje øke partisjonene til å gjelde for hele disken først...

 

Uansett, det skal visstnok være mulig med de nyeste kernel-versjonene.

Endret 14. januar 2009 av HawP

[kpolberg]

HawP, det du har lest om, gjelder for å legge til disker. Det gjelder ikke når du legger til større disker. Det har man alltid kunne gjøre. Altså, fra 2.6.17 kan man legge til disker slik at man går fra 3 disker til 4 disker, on-the-fly.

 

Å utnytte den ekstra plassen man får ved å skifte ut alle diskene fra f.eks 500gb til 1TB er relativt sketchy affære, jeg har ikke prøvd det enda, men vil anta at det skal være mulig å resize/fjerne Linux RAID autodetect partisjonen for så å opprette en som fyller hele TB disken, gjør dette på alle diskene, for så å kjøre xfs_growfs på md devicen(skumle greier). Eventuelt, lag en md device direkte mot disker, da slipper du tenke på å utvide Linux RAID autodetect partisjonen, mdadm vil ikke kunne trekke opp RAIDet ditt automatisk, men det burde være mulig å bare kjøre xfs_growfs direkte mot md devicen(ikke sikker her heller, skal se om jeg ikke kan få testet dette).

 

EDIT: xfs_growfs er ikke skummel, den er helt kurant, slik at hvis du f.eks utvider raidsettet ditt med flere disker, er dette en helt sikker operasjon. Det jeg mente var skummelt, var å fjerne linux raid autodetect saken, for så å opprette en som fyller hele disken.

Endret 15. januar 2009 av kpolberg

[Roger J.]

Da har jeg fått laget raid5-arrayet, men jeg får ikke tilgang til disken. Er helt fersk på linux, så alt jeg har gjort, er etter forskjellige wikier på nettet. Den er "mounted", men det ser ut til at jeg ikke har rettigheter til å bruke den. Noen som kan hjelpe?

[kpolberg]

Som root

#chown -R brukernavn.brukergruppe /path/til/hvor/disken/er/mountet
#chmod -R 2775 /path/til/hvor/disken/er/mountet

Endret 18. februar 2009 av kpolberg

[NgZ]

Om raidet fremstår som "en" disk, er det ikke bedre å legge til "user" i /etc/fstab? Ikke det at jeg har peiling på raid, men jeg har også tenkt å sette opp software raid5 på den stasjonære, (og endelig la den bli en skikkelig server), så jeg vil ha denne tråden i mine innlegg.

[Sokkalf™]

NgZ: Sålenge det benyttes et filsystem med mulighet for å sette brukerrettigheter/eier/grupper osv, så er det beste å gjøre dette på filsystemnivå.

[Equerm]

Skal du ha softwarebasert RAID5 med 1 i spare? LOL

 

Skal du først knote så mye så anbefaler jeg det å kjøpe et RAID kort til maskina, det er mye mer driftssikkert

[Sokkalf™]

Hva er det som er så "LOL" med det?

 

Kan du vise til noe dokumentasjon som viser at det er noe hold i det du sier?

 

Du er klar over at de fleste "hardware"-RAID-kort som finnes i noenlunde aksepterbare prisklasser for "vanlige dødelige" gjør mesteparten/all RAID-logikk i drivere? (Drivere som ofte kun finnes for Windows).

 

Hva om kontrolleren ryker? Da trenger du en ny kontroller av samme modell. Med et sw-raid kan du bruke hva som helst av kontrollere.

 

Jeg er 99.99% sikker på at i så godt som alle tilfeller som går utenom "high availability-servere", så er det mer driftssikkerhet pr. krone å gå for en software-RAID-løsning.

[Equerm]

Alle RAID kontrollerkortene jeg sjekket innom på komplett hadde Linux/UNIX og BSD støtte. (Jeg sjekket dog ikke alle sammen, men det virker ikke som at dette er noe stort problem å finne)

 

Men du har helt rett, det koster litt mer enn den vanlige mannen i gata er villig til å betale. Men den vanlige mannen i gata har vel ikke noe spesielt stort behov for å ha RAID5+1 på hjemmepcen sin heller?

 

Selvsagt er det en risiko at kontrolleren ryker, men selv har jeg jobbet med litt ymse servertyper med RAID og har aldri opplevd at en RAID kontroller ryker. Men dette har dog vert high availability-servere som du så pent omtaler dem, og et par SAN løsninger.

 

Men det finnes RAID kontrollerkort til en overkommelig pris, du finner mye snadder på sider som qxl, finn og ebay.

 

Men skal du tenke driftsikkerhet pr krone så har du helt rett Sokkalf^, men de fleste er villige til å betale litt for å få en skikkelig backupløsning. Når folk først gidder å bry seg med å ta backup så er det sannsynligvis noe viktig de har liggende.

 

Men joda, det er dyrt

[Sokkalf™]

RAID =! backup!!

 

Klart du kan få kontrollerkort billig nok, men de billigste er ikke mer avanserte enn du kan få med software-RAID, og tilbyr INGEN fordeler. Jeg ser derfor ikke vitsen med å bry seg med disse.

 

De litt dyrere kan gi fordeler, men i de fleste tilfeller er ikke dette noe du trenger hjemme.

 

Selv kjører jeg en OpenSolaris-boks, som jeg har 5x500GB disker i ZFS RaidZ (nærmeste sammenligning er RAID5). Har ingen spare-disk, men har disker nærme nok som jeg kan swappe inn manuelt ved behov.

 

ZFS gir meg snacks som checksumming av alle data (funksjonalitet man finner i de litt dyrere kontrollerne), pluss en hel haug med andre greier som er litt utenfor temaet, så jeg skal ikke nevne alt.

 

Har også en lese/skriveytelse som går langt over det jeg kan utnytte med et gigabit-nettverk.

 

Skulle jeg gått til innkjøp av en kontroller som ville gitt meg noe mer funksjonalitet/driftssikkerhet på den maskinen, så ville jeg blitt nødt til å doble prisen på hele løsningen.

 

Edit: Kan forøvrig nevne at alle diskene mine står i den integrerte SATA-kontrolleren på hovedkortet, Intel ICH9.

 

Gjentar igjen, og det kan ikke gjentas mange nok ganger. RAID er ikke backup. Har du alle dine data kun på et RAID-array, så mister du dem før eller siden, uansett om du har en kontroller til 20000kr eller om du har en løsning som er satt sammen med strikk og binders.

Endret 19. februar 2009 av Sokkalf^

[Equerm]

Har aldri sett på RaidZ men jeg sverger fremdeles til å ha RAID styringen hakket under OSet uansett. Mulig det bare er meg.

Og ja du har rett RAID != backup, men det er en måte å sikre dataene sine på, backup på f.eks en backuptape er også en måte å sikre dataene sine på...

 

Men jeg står fremdeles fast på at det er bedre med et skikkelig RAID kort for en slik løsning. Penger var egentlig ikke noe jeg tok med i betrakning når jeg skrev det.

Uansett så tror jeg vi kan diskutere og argumentere i hytt og gevær for hva som er best av software og hardware RAID. Det kan vi ta i en annen tråd.

 

Hadde vert artig å skapt en skikkelig diskusjon rundt dette for å se hvor vi ender opp. Personlig tror jeg vi ender opp med at hw raid er best men dyrere enn software.

 

Men men

Endret 19. februar 2009 av Equerm

[Sokkalf™]

Jeg gjentar

Skulle jeg gått til innkjøp av en kontroller som ville gitt meg noe mer funksjonalitet/driftssikkerhet på den maskinen, så ville jeg blitt nødt til å doble prisen på hele løsningen.

 

Jeg er altså ikke uenig med deg i det tekniske. Forskjellen er at jeg tar hensyn til pris, og mener at for en server for en hjemmebruker er det et tungtveiende argument.

 

Edit: Kan legge til at jeg har kjørt hjemmeservere i forskjellige konfigurasjoner (med linux software-RAID, FreeBSD software RAID eller Solaris ZFS/raidZ) siden 2001. Jeg har aldri mistet data, men det har gått 4-5 disker.

Endret 19. februar 2009 av Sokkalf^

[Equerm]

Ja du har rett i det.

 

RAID spiser som kjent disker ja, så det koster jo litt til slutt uansett. Blir litt tungt for de fleste disker å lese og skrive nesten hele tiden

[Sokkalf™]

Tja, kommer jo litt an på belastningen det, da.

Er jo ikke gitt at man belaster diskene i et RAID hele tiden bare fordi man har dem i en RAID-konfigurasjon.

[Equerm]

Så sant så sant, men for å krangle litt så tror jeg de av oss nederdene som har hjemmeserver i kjellern med mye diskplass laster ned et eller annet lovlig greier til diskene sine hele tiden

 

edit: I do

Endret 19. februar 2009 av Equerm