Raid 5 i linux

[Roger J.]

Takker for mange synspunkt, men det er nok pengene som rår, til og med når det gjelder uerstattelige data. Backup i tillegg til raidoppsettet er selvfølgelig noe man bør vurdere, da ingenting er 100% sikkert her i verden. Mener likevel at jeg har gjort det litt sikrere ved å bruke en egen systemdisk, for letter å kontrollere arrayet ved diskfeil. Oppsettet ble litt endret fra første post, da jeg desverre måtte ofre spare-disken, men håper å kunne legge til en slik på et senere tidspunkt når jeg ser meg råd til det. Hele maskinen ble dyrere enn ventet, og kabinettet tok en stor del av totalen, som kom opp i ca 6500,-. Det positive er at jeg har et veldig dynamisk system som lett kan utvides for en billig penge. Det som gjorde dette vanskelig for meg, var at det ikke fantes noen spesielt lett måte å sette det opp på. Som mange års windowsbruker er jeg veldig vant med GUI, noe som ikke finnes til linux for å sette opp raid(burde absolutt gjøres noe med). Skal nå se om jeg får til tipset fra kpolberg for å få tilgang til disken, og så skal jeg gi tilbakemelding.

[jonnor]

Takker for mange synspunkt, men det er nok pengene som rår, til og med når det gjelder uerstattelige data. Backup i tillegg til raidoppsettet er selvfølgelig noe man bør vurdere, da ingenting er 100% sikkert her i verden.

Bør vurdere? Dersom du bryr deg overhode om dataene dine så tar du backup. RAID er ikke backup, det er redundans. Den økt sikkerhet mot diskkrasj, men det er er det.

Hva med brukerfeil? rm -fr er jo fin. Hva med bugs i operativsystemet eller applikasjoner som gjør at de får amokk med filene dine? Lyn-nedslag eller brann som gjør at hele maskinen går føyken? Du er ikke på noen måte sikret bedre mot dette med RAID, så bryr du deg om dataene så ha backup. Og ikke en.

 

Det som gjorde dette vanskelig for meg, var at det ikke fantes noen spesielt lett måte å sette det opp på. Som mange års windowsbruker er jeg veldig vant med GUI, noe som ikke finnes til linux for å sette opp raid(burde absolutt gjøres noe med).

Det finnes såvidt meg bekjent en rekke web-baserte GUI for mdadm, både i Webmin som finnes til alle distroer og løsningene i spesialiserte distroer beregnet for NAS.

[Sokkalf™]

Sist jeg installerte en distro på et RAID, tok et GUI i installeren seg av RAID + LVM + partisjonering.

 

Har aldri satt opp noe sånt etter jeg faktisk har installert, så har ikke testet noen andre GUIer.

 

Backup er viktig. Selv har jeg enkelte ting jeg tåler å miste, og andre ting jeg ikke tåler å miste. Sistnevnte har jeg backup av, på førstnevnte er jeg ikke alltid like godt dekket.

 

Mener ihvertfall jeg skal være relativt mye bedre sikret for brukerfeil, via snapshot-funksjonaliteten til ZFS. Men sånne godsaker får man jo ikke så lett i linux (enda).

[Roger J.]

Lyn-nedslag eller brann som gjør at hele maskinen går føyken? Du er ikke på noen måte sikret bedre mot dette med RAID, så bryr du deg om dataene så ha backup.

 

Så brysk du var da... Skal man gardere seg mot lyn og brann, må man vurdere å leie online lagring. Som sagt, ingenting kan bli 100% sikkert.

[kpolberg]

Kan forøvrig nevne at det er fullt mulig å bruke rsync til snapshot system, går litt diskplass med, men man er litt bedre sikret mot at man overskriver "god" data med "dårlig" data.

 

Forøvrig må jeg skyte inn at jeg nå for tiden ser på software / hardware raid, som likestillte. Fordeler med software er f.eks hardware uavhengighet, mens hardware har gjerne noe høyere ytelse. Disse "halv"hardware kontrollerene som er støttet er gjerne støttet gjennom dmraid delen i Linux, litt usikker på hvordan de er implementert i BSD, men jeg hadde valgt linux software raid fremfor dmraid hvilken som helst dag.

[NgZ]

Backup av alt er det vel få som har? Selv har jeg viktige ting (mail, kontaklister, noen bilder, "viktige" dokumenter og studie-relaterte ting liggende to steder, men muskk, film og div, er det dårligere med. Mangler total oversikt, så det wr sikkert noe jeg helst ikke vil miste, som det ikke finnes backup av.

Ser for meg at jeg kjører en 500gb systemdisk + 3*750/1000GB disker i raid5, med backup av det viktigste på systemdisken. Da får jeg i hvert fall litt ekstra sikkerhet.

 

Noe har jeg også på en gratis backuptjeneste, men hvilke slike gir meg 500GB med plass? Så ved brann, vel, da er løpet stort sett kjørt. Selvfølgelig står det på "skal gjøres en gang"-listen min å bli flinkere.. etter hvert.

 

@Sokkalf: Hva gir Solaris oppsettet deg som gjør det bedre enn raid5 i linux? Beskyttelse mot raid5 sine "parity problems" eller noe?

[Sokkalf™]

@Sokkalf: Hva gir Solaris oppsettet deg som gjør det bedre enn raid5 i linux? Beskyttelse mot raid5 sine "parity problems" eller noe?

 

Kan jo ta noen punkter som betyr mye for meg :

 

1. Checksumming - hvis en disk eller kontroller (eller minnet for den saks skyld) blir "flaky" og gir feil data, vil ZFS fortelle meg om dette, og forhindre at korrupt data skrives til disk så langt det lar seg gjøre.

 

2. Snapshotting (online) - Jeg kan nårsomhelst, mens systemet er i drift, ta et (read only) snapshot av filsystemet. Dette tar som regel under ett sekund, og bruker ingen diskplass sålenge det ikke er noen diff mellom filsystem og snapshot. eks: tar jeg et snapshot, og deretter sletter en fil på 500MB i filsystemet, vil snapshottet oppta 500MB plass. Hvis jeg kun legger til filer i det originale filsystemet, vil ikke snapshottet oppta noe ekstra plass. (Jeg har et snapshot som viser musikksamlingen min slik den var i sommer. Det bruker kun ca. 900MB plass, pga. filer som er slettet)

 

3. Kjapp og enkel opprettelse av filsystemer. Jeg kan lage så mange jeg vil. Kan enten sette en quota på plass, eller reservere plass. Hvor mye plass som er reservert kan jeg endre når jeg vil.

 

4. Enkel deling via nettverk - Ved å bare sette et "flag" på filsystemet, kan man kontrollere om det skal deles med cifs, nfs. Man kan også opprette "virtuelle block devices" som kan deles via iSCSI.

 

Hvis jeg f.eks vi opprette et filsystem i pool'en min, sette kvoten til 50GB, og dele det via NFS..

zfs create pool/filsystem
zfs set quota=50G pool/filsystem
zfs set sharenfs=on pool/filsystem

Ferdig.

 

 

Litt "reklame" dette kanskje, hehe.. men liten tvil om at ZFS er genialt, og et stort skritt fram fra tradisjonelle filsystemer... sånn jeg ser det, ihvertfall.

[NgZ]

Hmm. Småsnacksy. Prøvekjørte så vidt en opensolaris-livecd i går mens jeg burde lest til eksamen, og det så jo ikke verst ut.

 

På den annen side føler jeg endelig at jeg begynner å beherske linux på et noenlunde greit nivå. Å begynne på noe "enda særere" frister ikke så veldig mye sånn sett.

 

Akkurat det med flaky/korrupte data er noe av det jeg synes er er skummelt med raid5. Bytting av disk må man regne med, og sjansen for at to feiler samtidig er. .. liten. men når dataene kan korrumperes etterhvert, sånn umerkelig - det er skummelt. Men det burde jo vært implementert en løsning på dette i software-raid? Leseytelsen på raid5 er jo god, og tåler vel en liten parity check av leste data?

 

ZFS er vel patentbelagt, og kommer ikke til å havne i linuxkjernen med det første?

 

Pool-ordningen hørtes litt sær ut. Men gjør vel ikke det etter litt wiki-lesning kanskje.

[jonnor]

ZFS er vel patentbelagt, og kommer ikke til å havne i linuxkjernen med det første?

Nei, ZFS er ikke patentbelagt. Men den er sluppet under CDDL, en lisens som er inkompatibel med GPL (eller vica versa om du vil ), og vil dermed aldri kunne implementeres i Linux kjernen. Med mindre det blir gjort en lisensendring selvfølgelig.

 

Men det er underveis en userspace implementasjon av ZFS gjennom Fuse. Og btrfs, som nylig ble merget inn i mainline Linux vil gi mye av funksjonaliteten som ZFS har. Begge deler er dog på et tidlig stadie og er ikke egnet til noe annet enn testing.

 

EDIT: delte en setning

Endret 19. februar 2009 av NorthWave

[Sokkalf™]

På den annen side føler jeg endelig at jeg begynner å beherske linux på et noenlunde greit nivå. Å begynne på noe "enda særere" frister ikke så veldig mye sånn sett.

Tja, du har jo unix i bånn. Legg inn bash-shellet, sett opp environment sånn du er vant med fra linux, og du kan ikke merke forskjellen i terminalen. De nye liveCDene kommer jo med et mer "linux-like" oppsett i utgangspunktet. Behersker du terminalen i linux, går du deg ikke bort i Solaris.

 

Akkurat det med flaky/korrupte data er noe av det jeg synes er er skummelt med raid5. Bytting av disk må man regne med, og sjansen for at to feiler samtidig er. .. liten. men når dataene kan korrumperes etterhvert, sånn umerkelig - det er skummelt. Men det burde jo vært implementert en løsning på dette i software-raid? Leseytelsen på raid5 er jo god, og tåler vel en liten parity check av leste data?

Ingen ekspert på området, men checksumming er ikke en paritetssjekk. RAID-5 gjør vel parity på reads/writes i utgangspunktet(?). Checksumming er vel mer sammenlignbart med å gjøre en md5sum av et ISO-image. Man gjør en sjekk på et visst antall blokker i pool'en, og lagrer checksummen som en slags metadata.

 

ZFS er vel patentbelagt, og kommer ikke til å havne i linuxkjernen med det første?

NorthWave er spot-on.

 

Kan jo legge til at det har vært litt løst snakk både fra Suns side, og en del spekulasjoner fra andre steder om at Sun vil slippe ZFS under GPL. Linus Torvalds har uttalt at om ZFS slippes under GPLv3, vil det muligens være god nok grunn til å shifte hele linux-kernelen mot GPLv3.

 

Pool-ordningen hørtes litt sær ut. Men gjør vel ikke det etter litt wiki-lesning kanskje.

Jeg syns den er genial. Men det er jo litt annerledes. Min oppfatning etter å ha brukt ZFS en stund er at filsystemer på den tradisjonelle måten, er vanskeligere enn de behøver å være.

 

Edit: Vi begynner vel så smått å bevege oss off-topic.

Endret 19. februar 2009 av Sokkalf^

[NgZ]

Rimelig sikker på at raid5 ikke sjekker parity på reads, og at det er et problem som gjør at korrupsjon kan ødelegge mye litt for lett. Checksumming er noe som gjøres i bakgrunnen med jevne mellomrom, da eller? Å gjøre det for hver read/erite hørtes rimelig CPU-intensivt ut. Noe ZFS forsåvidt er, sammenliknet med raid5, etter det jeg har forstått.

 

Så det er ZFS-lisens vs kjernelisens det står på. Jaja, hvis noen gjør det mulig å "ettermontere", blir det vel en ordning.

 

Sånn bare for å gå enda mer off topic: Ellers er jeg mest spent på hvordan snapshotet kan fungere, dersom det ikke tar noe plass i et hele tatt. Det hørtes jo helt genialt ut. Veldig greit å ha sånt i bakhånde. Jeg har f.eks. klart å slette hele ~/ for litt siden. Kjempegøy. Heldigvi var det en relativt ny innstall, så jeg hadde den gamle liggende.

 

Og apropo solaris vs. linux: Sånn du fremstiller det, så er kommandoer o.l. like? er det gnu-ting som ligger til over kjernen i solaris og?

 

Velvel, blir nok en server med arch og raid først uansett, tror jeg.

 

Tråden har vel blitt en smule hijacked.

[Sokkalf™]

Når det gjelder Solaris vs Linux med kommandoer osv, så er det ganske likt. Solaris har sine egne versjoner av en del kommandoer, men de har som regel lik virkemåte. Du kan også installere hele GNU-sulamitten, evt. kompilere den selv.

 

På de nye OpenSolaris-liveCDene følger det allerede med en del sånt, som gjør at det hele ligner mer på linux ut av boksen.

 

På den versjonen jeg har, som er litt eldre, var det mer som å legge inn Solaris 10. Altså ingen bash-shell som default (ingen tab completion), ingen farger på ls, osv osv. Dette er relativt enkelt å legge til i etterkant, men det skaper jo litt ekstraarbeid.

[ATWindsor]

Hmm. Småsnacksy. Prøvekjørte så vidt en opensolaris-livecd i går mens jeg burde lest til eksamen, og det så jo ikke verst ut.

 

På den annen side føler jeg endelig at jeg begynner å beherske linux på et noenlunde greit nivå. Å begynne på noe "enda særere" frister ikke så veldig mye sånn sett.

 

Akkurat det med flaky/korrupte data er noe av det jeg synes er er skummelt med raid5. Bytting av disk må man regne med, og sjansen for at to feiler samtidig er. .. liten. men når dataene kan korrumperes etterhvert, sånn umerkelig - det er skummelt. Men det burde jo vært implementert en løsning på dette i software-raid? Leseytelsen på raid5 er jo god, og tåler vel en liten parity check av leste data?

 

ZFS er vel patentbelagt, og kommer ikke til å havne i linuxkjernen med det første?

 

Pool-ordningen hørtes litt sær ut. Men gjør vel ikke det etter litt wiki-lesning kanskje.

 

Silent corruption er jo et problem om man ikke har raid også, og det er også et problem med hardware-controllere. ZFS er nok antakelig av de tryggeste løsningene i så måte.

 

AtW