Hjemmelaget SAN løsning

[netphreak]

Jeg skal lage meg en ny filserver i kjelleren. Pga. pris blir det sata disker for generelt lagringsbehov. Men jeg lurte litt på muligheten av å benytte et SAS raid kontroller kort, og et par SAS disker i raid0. Tanken er å kunne benytte raske disker (som støyer mye), uten å måtte ha dem i kabinettet der jeg skal jobbe.

 

Spørsmål:

 

Kan jeg benytte SAS diskene som OS disker andre steder i huset - kun koblet sammen med cat5e kabel? (Slik at jeg ikke har disker i klienten). Hvordan? Vet jo dette er slik et skikkelig SAN fungerer dette er litt i det blå for meg å forstå...

Endret 8. mai 2008 av netphreak

[netphreak]

Ingen som har noen tanker rundt dette?

[Killer_DT]

Spørsmål:

 

Kan jeg benytte SAS diskene som OS disker andre steder i huset - kun koblet sammen med cat5e kabel? (Slik at jeg ikke har disker i klienten). Hvordan? Vet jo dette er slik et skikkelig SAN fungerer dette er litt i det blå for meg å forstå...

 

For at det der skal fungere så må du har rimelig spesiele switcher forbundet med fiberlinker. Jeg tror ikke dette er noe du skal sette igang med, med mindre du har 100 000kr++ å brenne av. Slike løsninger er det heller ikke mulig å ha SAN disk som systemdisk, men bare som datalager.

[Zenit]

Kommer litt an på hvor mye du er forberedt på å fikle og hvilket os du kjører. Du kan lage deg et "billigmanns"-SAN ved å f.eks bruke iSCSI. Da kan du gå for gigabit-switcher og bruke vanlig ethernet. Problemet blir å kunne starte opp fra dette SAN-et, samt hva slags ytelse du får. Når det kommer til å oppstart ser jeg at det finnes nettverkskort som støtter iSCSI remote boot, samt at du også får tak i kort med BIOS som støtter å starte opp fra iSCSI. Adaptec og Qlogic skal ha slike kort. Det går også an å sette å sette opp oppstart over PXE og boote opp en initrd + kjerne med Linux som har iscsi-støtte.

 

Ulempen slik jeg ser det er at det er vanskelig å si hva slags ytelse du får. Sist jeg satte opp iSCSI var jeg ikke sånn kjempefornøyd med ytelsen, varierte vel sånn ca. mellom 45 - 80MiB/s. iSCSI kjører over TCP/IP, så kan sikkert justeres en del for å få bedre ytelse. Noe overhead vil det alltid være.

 

Angående fibre channel, så kan du starte opp fra slike SAN også. Du må også her ha et host-adapter med BIOS som støtter slikt. Ulempen er jo som nevnt prisen, men ytelsen pleier å være topp.

 

Skal ikke henge meg opp i valget av raid 0 for OS, for du er vel forberedt på å bruke det kun til OS og full reinstall hvis en disk ryker

[netphreak]

Kommer litt an på hvor mye du er forberedt på å fikle og hvilket os du kjører. Du kan lage deg et "billigmanns"-SAN ved å f.eks bruke iSCSI. Da kan du gå for gigabit-switcher og bruke vanlig ethernet. Problemet blir å kunne starte opp fra dette SAN-et, samt hva slags ytelse du får. Når det kommer til å oppstart ser jeg at det finnes nettverkskort som støtter iSCSI remote boot, samt at du også får tak i kort med BIOS som støtter å starte opp fra iSCSI. Adaptec og Qlogic skal ha slike kort. Det går også an å sette å sette opp oppstart over PXE og boote opp en initrd + kjerne med Linux som har iscsi-støtte.

 

Ulempen slik jeg ser det er at det er vanskelig å si hva slags ytelse du får. Sist jeg satte opp iSCSI var jeg ikke sånn kjempefornøyd med ytelsen, varierte vel sånn ca. mellom 45 - 80MiB/s. iSCSI kjører over TCP/IP, så kan sikkert justeres en del for å få bedre ytelse. Noe overhead vil det alltid være.

 

Angående fibre channel, så kan du starte opp fra slike SAN også. Du må også her ha et host-adapter med BIOS som støtter slikt. Ulempen er jo som nevnt prisen, men ytelsen pleier å være topp.

 

Skal ikke henge meg opp i valget av raid 0 for OS, for du er vel forberedt på å bruke det kun til OS og full reinstall hvis en disk ryker

 

 

Tusen takk for veldig lærerik post zenit!

 

Jo da, raid5 har jo noe for seg, men fordyrer en del (både dyrere kontrollerkort og ekstra disk), og jeg skal ikke ha mye dynamisk data det skrives ofte til der heller.

 

iSCSI ja... Dette er vel en helt regulær rj45 port, er det ikke? Noe ekstra må det vel være med den, siden den koster så mye Skal google meg opp på det. Men helt nede i 45MiB/s da gitt... Ja ja, med unntak av boot er jo ikke overføreingshastighet så viktig, men aksesstiden? Det er den jeg lurer mest på, vs. disk i kontroller. Om den er dårlig, faller jo hele vitsen med SCSI disker i staver... Hvor mye "dårligere" er iSCSI på aksesstid vs fibre-channel? Jada jada, "hvor tung er en stein", men alikevel? Er jo en del ting å finne på ebay

[formann]

For å boote fra SAN kreves det i utgangspunktet dyre nettverkskort som simulerer en harddisk, men det finnes løsninger som er litt billigere

 

Firmware til Intel Pro1000 som støtter iSCSI remote boot:

http://www.intel.com/support/network/adapt...b/CS-023748.htm

 

 

Fiber trenger man ikke overhodet. Til ditt bruk holder det lenge med en billig-pc og riktig software. Gigabit nettverk er selvsagt en fordel...

 

Sleng noen disker inn i en nogenlunde OK PC, og installer OpenFiler. Lekende lett

 

http://www.openfiler.com/community/download

[kpolberg]

Hehe, mye spennende og finne på eBay. Men sånn i utgangspunktet er det som Zenit sier, løsningen er nok å gå for iSCSI, og PXE boot av Linux. Eventuelt bare sette opp samtlige maskiner med mengder av minne og kjøre alt fra ramdisk(jeg gjør selv dette med Ubuntu)Laster opp en minimal kernel via PXE som igjen drar opp resten via NFS. iSCSI løsning hadde jeg ikke vært redd for båndbredde, men aksesstid som du nevner. Har ikke fått testet det så nøye enda, men holder på.

 

FibreChannel er jo en mulighet, kjøpe inn en Brocade SilkWorm 2800, Sun StorEdge A5200 og noen qlogic 2200 eller tilsvarende. Problemet med denne løsningen er jo at du er nødt til å strekke fiberoptiske kabler over alt. Men spennende løsning for det om(aner ikke hvor glad Windows er å boote ifra disse kontrollerene). Skal se om jeg ikke kan få testet dette i overskuelig fremtid. Sånn ellers hvis jeg vinner ett bud på iSCSI kort fra enten Qlogic eller Adaptec så blir det test enten på henholdsvis 3Com CoreBuilder 9400 eller SuperStack III(fiber eller kobber). Eneste problemet jeg har med Adaptec kontrolleren er at jeg er usikker på om den er støttet i Solaris. Testet forresten ett fiberkanal oppsett jeg har her hjemme nå 6x Hitachi 10k og 1x Seagate 10k, og denne maskinen fra rundt 2000(Sun Enterprise 3500) gruste faktisk fil serveren min som er basert på 8x 500gb WD SATA disker, på noen områder ihvertfall. Tror forresten Solaris egner seg bedre som Target enn linux foreløpig. Så helt syk last på fil serveren min når jeg prøvde iSCSI mot den, riktignok kjørte jeg ikke direkte mot disk, men mot fil. Fordelen med Solaris her er jo at ZFS har direkte støtte for å dele en zpool som iSCSI target.

 

Men så over til spm dine. iSCSI host-bus adapteren kan ha både fiber og kobber. Gå på eBay og søk på adaptec 7211F så finner du fiber, søk på 7211C så får du kobber.

 

Grunnen til at disse kortene koster, er på grunn av denne "offloading" funksjonen som jeg ikke helt har fått lest meg opp på enda. Men regner med den gjør noe fancy med dataen som skal flyttes over interfacet.

 

Aksesstid fibrechannel vs iSCSI tror jeg faktisk er endel, uten å ha noen faktiske målinger akkurat nå. Blir spennende å prøve, vet Solaris har en kommando for å vise hvor lang tid en forespørsel mot disk bruker, så skal se om jeg ikke kan få noen konkrete tall etter hvert(kommer til å lang tid).

 

EDIT: Utifra hva jeg kan se på Intel sine sider, gjelder den firmware kun for PF / PT serien til Intel.

Endret 20. mai 2008 av kpolberg

[Zenit]

Virker som at iSCSI kort med offloading har noe for seg ja. Angående ytelse vil jeg tippe at mitt forsøk for et par år siden ikke er et godt eksempel, ytelsen burde vært langt bedre. Her må man også se an ytelse på filsystemet og blokkstørrelsen i henhold til typen data som skal aksesseres.

[bjorn.e]

Til hjemmelaget SAN har du fire alternativer (i linux verdenen)

-Network block device

-ATA over Ethernet

-iSCSI

-Fiber Channel over Ethernet

 

De to første er litt forbehold linux mener eg, mens de to siste har litt bredere støtte. Skal du kun ha tilgang over et switchet nett ville eg gått for ATA eller FC over Ethernet pga redusert overhead i IP.

 

Driver å pusler litt med det samme for tiden, men ting tar tid! Bruker foreløpig software raid -> ata over ethernet -> lvm -> ftp/samba/nfs. Men det hele trenger tuning av ytelse og videre eksperimentering!