Mdadm/3ware problemer (Was:Os til Virtaulsering/filserver)

[arnbju]

Hei, skal bytte ut servern min nå og tenkte at jeg i den sammenheng kanskje skulle bytte os jeg bruker. Kjører i dag Win2k3 Server med VmWare Server som virtualiseringsprogram. Tanken er da å gå over til en eller annen form for Linux eller Win2k8 server evnt. Har hittil bare kjørt linux på ting jeg har testet og ikke brukt over lang tid så vil gjerne ha noe med gui og ikke bare terminal. Tanken er å kjøre kun filservertjenester lokalt på host OS og kjøre backup, streaming osv fra virtuelle maskiner så det blir lettere å fikse hvis til skulle kræsje. Målet er å få bedre ytelse over nettverket, nå ser hastigheten ut til å være kappa på ca 40mbit (1gbit nett), har hatt opp mot 300mbit før men hadde alltids vært kjekt med mer.

 

Kjører 4 stk Samsung F1 1TB disker i Raid5 nå og her ikke helt fornøyd med ytelsen. HDTach sier 70MB/s average read men det føles ikke sånn. Får ca 20MB/s skriv og 60MB/s les. Og spesielt under skriving og lesing til arrayet samtidig er ytelsen dårlig, som ved f.eks utpakking av rarfiler. Vil mdadm under linux kunne gi bedre ytelse her?

 

Klienter blir

1 stk stasjonær med Vista

1 stk stasjonær med XP

1 stk laptop med Xp

3 stk laptop med Vista

 

Hardware gammel server:

NCCH-DL

2x Xeon 2,4Ghz

1GB Ram

3 Ware 9500S-12 m/128MB Cache & BBU

 

Hardware ny server:

Thunder K8QS Pro (S4882)

4x Opteron 848 (2,2Ghz)

5GB Ram

3 Ware 9500S-12 m/128MB Cache & BBU

3 Ware 9500S-12ML m/128MB Cache

1x120GB

2x200GB

7x320GB

1x500GB

1x750GB

4x1000GB

 

Har også en STORCASE S10K102 som skal kobles opp med Fibrechannel. Har et PCI-X kort men usikker på om det vil funke, noen som har peiling? Qlogic ISP2312 PCI 133 GBIC FTRJ8519F1KNL-QL står det på det (bilde kommer) Her treng jeg også en SFP modul og en kabel.

Endret 31. oktober 2008 av arnbju

[Wattengård]

Solaris 10.

 

Fordeler:

ZFS

Xen

Enkel SMB/CIFS/NFS setup

 

Bakdeler:

Litt høy læringsterskel kanskje. Men stabilt som få.

 

-C-

[kpolberg]

Vil mdadm under linux kunne gi bedre ytelse her?

JA!

Har også en STORCASE S10K102 som skal kobles opp med Fibrechannel. Har et PCI-X kort men usikker på om det vil funke, noen som har peiling? Qlogic ISP2312 PCI 133 GBIC FTRJ8519F1KNL-QL står det på det (bilde kommer) Her treng jeg også en SFP modul og en kabel.

Regner med det er ett qlogic 2342 du har.

http://images.google.no/images?hl=no&q...sa=N&tab=wi

Burde fungere fint det, bare å skaffe sfp moduler til StorCasen, så skal det være tut å kjør.

 

Bakdeler:

Litt høy læringsterskel kanskje. Men stabilt som få.

Pluss, zfs mangler mulighet for å inkorporere flere disker i samme raidsett, nye disker vil bli opprettet i ett eget sett og koblet sammen i poolet.

 

Regner med det kommer en endring her etter hvert, men greit å vite.

[arnbju]

Solaris 10.

 

Fordeler:

ZFS

Xen

Enkel SMB/CIFS/NFS setup

 

Bakdeler:

Litt høy læringsterskel kanskje. Men stabilt som få.

Tror jeg holder meg unna Solaris intil vidre, enklere å få hjelp med linux hvis jeg skulle kjøre meg fast.

 

Har også en STORCASE S10K102 som skal kobles opp med Fibrechannel. Har et PCI-X kort men usikker på om det vil funke, noen som har peiling? Qlogic ISP2312 PCI 133 GBIC FTRJ8519F1KNL-QL står det på det (bilde kommer) Her treng jeg også en SFP modul og en kabel.

Regner med det er ett qlogic 2342 du har.

 

http://images.google.no/images?hl=no&q...sa=N&tab=wi

Burde fungere fint det, bare å skaffe sfp moduler til StorCasen, så skal det være tut å kjør.

Ligner veldig men jeg har bare en tilkobling.

 

 

LC denne typen tilkobling heter?

[kpolberg]

Tror jeg holder meg unna Solaris intil vidre, enklere å få hjelp med linux hvis jeg skulle kjøre meg fast.

Nja, dokumentasjonen til Sun er faktisk bedre på flere punkter, riktignok er det ikke så mange "step-by-step" guider. Men sånn ellers, veldig bra.

Ligner veldig men jeg har bare en tilkobling.

 

LC denne typen tilkobling heter?

Ahh, da er det 2340 du har. Forøvrig stemmer det at det er LC tilkobling. Sånn ellers hvis du lurer så er disse bakoverkompatible med 1gb signal, slik at den kobles opp mot eldre utstyr også(eldre utstyr bruker ofte SC tilkobling, så da må du ha LC til SC kabel.

 

Sånn ellers den kabelen du trenger, heter 50/125 eller 62.5/125 multimode, de første tallene er innerdiameter de siste tallene er ytterdiameter hvis jeg ikke husker helt feil. Singlemode og multimode vet jeg ikke helt den tekniske forskjellen på, utenom at singlemode er beregnet på lengre avstander(over 500m).

[arnbju]

Da er 50/125 LC til LC kabel og SFP modul funnet på ebay. Da må jeg bare vente på kabler til 3warekortet skal komme så skal jeg begynne å teste litt.

[arnbju]

Tenkte jeg skulle teste litt på windows før jeg gikk over til linux men har problemer med å få instalert driverne til FC HBA. Hentet STOR Miniport 32-bit Driver (x86) herfra: http://driverdownloads.qlogic.com/QLogicDr...r+2003+(32-bit)

Såvidt jeg skjønner burde vel det bli riktig? Men windows nekter å instalere den. Lasta også ned SANsurfer Install Wizard for Windows som påstår at jeg ikke har HBA i maskinen. Noen forslag?

[Gjest Slettet-t8fn5F]

Kjører selv med Windows 2008 og Hyper-V. Ikke full virualisering ala esx-server til Vmware, men helt ok for uttesting...

[arnbju]

Da har jeg endelig fått kabler til raid-kortet som jeg har venta på en stund og fått testa litt. Men får noen merklige resultater når jeg oppretter et raid-array med mdadm. Har brukt to like Seagate disker og en WD disk når jeg kjørte testene.

 

Alle diskene på en Sil3114 chip onboard gir 25mb/s create speed.

Alle diskene på en Sil3114 chip på et PCI-kort gir 25mb/s create speed.

Alle diskene på 3ware 9500S-ML gir 11mb/s create speed.

En Segate på 9500S, en Segate på Sil3114 PCI og WD på 9500S-ML gir 11mb/s

 

Så testet jeg ved en tilfeldighet 2 stk wd disker på 9500S-ML og en seagate på Sil3114 onboard og det ga ca 40mb/s så mistenker at det er segate diskene som funker dårlig med 3ware-kontrollerne. Noen som har noen gode forslag til hva det kan skylles? Har oppdatert kontrollern til nyeste firmware uten noen suksess.

 

På noen disker får jeg nå også device bussy når jeg prøver å legge dem til i raid eller formatere dem, uten at jeg helt skjønner hva det skulle komme av. Os er en helt ny install av Ubuntu 8.10 server.

[arnbju]

Med litt mer eksprimentering har jeg kommet fram til at det er skriving til disk 3warekontrollern sliter med. lesing går helt fint. Total ytelse på sil3114 ser også ut til å være rundt 60mb/s så med to disker på 9500s og en på sil3114 klarer jeg å få create speed opp i 57mb/s men den skal vel skrive paritetsdata til alle diskene så går vel saktere etterhvert...

 

Edit: Å opprette Raid5 array skriver tydlivis bare til en disk så det går fort, men å growe til en disk til er ubrukelig treigt. Bonnie++ sier 6,6MB/s Chr write, 5,7MB/s Block wirte, 53MB Chr read og 107MB/s Block write så noe er ikke helt bra her...

Endret 31. oktober 2008 av arnbju