BSD/Unix[LØST] OpenSolaris + Samba, ytelsesproblemer

[Sokkalf™]

Min nye ZFS-filserver ser bra ut, men jeg støtte på et lite problem jeg ikke har funnet noen løsning på.. Ytelsen på samba er mildt sagt begredelig. Overføringshastigheten er ikke helt superelendig, men kunne helt klart vært mye bedre. Det verste problemet er at jeg ikke kan spille FLAC-filer over nettverket uten at de hakker. (Samme problem både fra linux- og windows-klienter når jeg benytter samba)

Maskinen står på et 100Mbit-nettverk, så å utnytte dette maksimalt var det jeg forventet.. resulatet ble dog ikke helt slik.

 

Gjorde noen benchmarks med dvd-imagefiler på 4.4GB :

Først testet jeg ytelsen rett fra raidz-arrayet til en annen disk i maskinen, resultat: 56,8MB/sec. Ikke all verden, men ingen flaskehals her ihvertfall!

(EDIT: gjorde en ny test av diskene, rett til /dev/null denne gang. Korrekt leseytelse er hele 139.05MB/sec, så her skal det være mer enn nok å gå på.)

 

Så testet jeg ytelsen fra OpenSolaris-boksen til en annen pc i nettverket via samba : 6,1MB/sec. Dette skuffer, men som sagt er det enda verre at hastigheten er så ustabil at musikk skipper.

 

Testet tilslutt ytelsen fra OpenSolaris-boksen til samme pc i nettverket, bare denne gangen med rsync. Resultat: 11,0MB/sec. Her utnyttes altså 100Mbit-nettverket til fulle, så det er ikke noe galt med det heller.

 

Jeg lander altså på at det er samba som er flaskehalsen, men kan ikke fatte og begripe hva som er galt. Serveren har en Core2Duo-prosessor og 2GB RAM, noe som er en betydelig oppgradering fra den gamle (P3 600MHz, 448MB RAM), som klarte 10-11MB/sec med Samba.. med samme configfil!

 

Noen som har noen anelse om hva som kan være galt her?

 

Edit: Saken er løst, se lenger ned.

Endret 4. februar 2008 av Sokkalf^

[stigfjel]

Du bør kanskje prøve å oppgradere til nyeste versjon av samba, så lenge dette lar seg gjøre. Å sette opp samba i OpenSolaris skulle ikke være så forskjellig, men jeg har ikke brukt OpenSolaris, har kun erfaring med Solaris (produksjon). Man kunne sagt at det var en nettverksdriver-issue, men det kan man nesten utelukke med 11.0 MB/s overføringshastighet over rsync på et 100 Mbps nettverk, noe som er meget sterkt. I mellomtiden kan du dele ut ressursene over NFS og bruke det som en nødløsning til du har funnet ut av hvorfor samba er så tregt som det er.

[Sokkalf™]

Har feilsøkt litt mer. Samba holder seg stort sett på ~7-8MB/sec, men dropper plutselig ned i ~100k/sec i et par sekunder av gangen, noe som fører til skippingen i musikk/filmer etc. Dette gjelder kun samba, og ingen andre protokoller såvidt jeg kan se.

 

Har prøvd en hel haug med configsettings både i samba og på nettverket, uten hell.

 

Skal prøve å oppgradere samba (skjønt, versjonen i OpenSolaris virker relativt fersk). Kanskje prøve en eldre versjon også.

[Sokkalf™]

Har etablert en midlertidig (og skitten) løsning, hvor jeg mounter diskene via nfs til en annen maskin (som kjører debian) - som igjen deler dem videre med samba. Er rimelig avhengig av å få delt diskene til windows-klienter.

 

Overføringshastigheten har falt en smule (rundt 5MB/s), men stabiliteten er mye bedre.

 

Det jeg umiddelbart legger merke til er at samba bruker en god del mindre cpu på linuxboksen (men det er såpass lite på begge maskiner at det ikke burde påvirke ytelsen), 0.1-0.5% vs 3-5% på opensolaris-boksen.

 

Edit: Er forøvrig C2D E4600 @ 1.6GHz i OpenSolaris-boksen, P4 Northwood 2.53GHz @ 1.9GHz i debian-boksen.

Endret 23. januar 2008 av Sokkalf^

[stigfjel]

Du kan jo sette opp Windows services for UNIX på windows-maskinene, så kan du benytte NFS mot Solaris-boksen direkte, uten å gå om samba.

 

Edit: har du testet med Solaris 10?

Endret 23. januar 2008 av stigfjel

[Sokkalf™]

Frister nesten å gå for NFS, det sparker virkelig fra. Var oppe i 12MB/sec mellom laptopen (arch linux) og solaris-boksen, bedre får man ikke på 100Mbit nettverk.

 

Hvordan er det med mapping av windowsbrukere til unixbrukere osv med NFS i Windows SFU?

 

Har ikke testet Solaris 10, nei, men det må nesten bli siste utvei. Vil helst få ordnet noe som funker tilfredsstillende uten reinstall av OS.

[stigfjel]

Frister nesten å gå for NFS, det sparker virkelig fra. Var oppe i 12MB/sec mellom laptopen (arch linux) og solaris-boksen, bedre får man ikke på 100Mbit nettverk.

 

Hvordan er det med mapping av windowsbrukere til unixbrukere osv med NFS i Windows SFU?

 

Har ikke testet Solaris 10, nei, men det må nesten bli siste utvei. Vil helst få ordnet noe som funker tilfredsstillende uten reinstall av OS.

12 MB/s på 100 Mbps nettverk er jo grisebra. Her snakker vi nesten 100% ytelse på 100 Mbps nettverk. Nå har ikke jeg prøvd SFU, men det burde fungere. Prøv og les litt på Technet om hvordan oppsettet gjøres. Solaris 10 er UNIX-motstykket til linux-distroer som RHEL og SLES, der stabilitet og driftssikkerhet står i høysetet. Personlig kommer jeg ikke til å bruke OpenSolaris, men Solaris 10 på filserveren, nettopp på grunn av at jeg vil ha et OS som har produksjonsstatus, noe OpenSolaris ikke har. OpenSolaris er ment for testing, ikke å brukes på en server.

[Sokkalf™]

Hadde dette vært et mission-critical system, så hadde jeg klart gått for Solaris 10.

Dette er bare en hjemmeserver, og benytter anledningen til å få testet litt saker og ting, og da syns jeg OpenSolaris egner seg bedre. Kanskje jeg får sendt avgårde en bugreport på det samba-problemet også.

 

Går nok for NFS inntil videre, men ser rare tall her, jeg får ytelse av en annen verden (dvs, tall jeg ikke kan stole på!)

 

Write til en NFS-share fra en laptop, 100Mbit nettverk :

$ cat randomfilmpå266MB.avi | pipemeter > /mnt/nfsshare/testfil
 16.63M/s  266.10M	8.00k   0:00:16

 

16.63MB/s! Det er jo faktisk en umulighet. Bruker NFS-protokollen noen form for kompresjon e.l? Det jeg har lest skulle ikke tyde på det..

 

Edit: Reads gir forøvrig normal (god!) ytelse :

$ cat stormp3fil.mp3 | pipemeter > /dev/null
11.77M/s   82.41M	8.00k   0:00:07

Endret 24. januar 2008 av Sokkalf^

[Sokkalf™]

Services for Unix var bare å glemme.

 

Windows Services for UNIX is not supported on 64-bit operating systems, such as Microsoft Windows XP Professional x64 Edition.

 

Noen som kjenner til noen gode gratis NFS-klienter til Windows?

[stigfjel]

Bruker du Windows XP Professional x64 på noen maskiner?

 

Edit: nå er det ikke så lenge til jeg skal bygge opp min filserver, og jeg kommer til å gå for Solaris 10.

Endret 24. januar 2008 av stigfjel

[Sokkalf™]

Bruker XP x64 ja. SFU er visst et avsluttet prosjekt hos MS, og vil ikke komme i 64bit-versjon.

[stigfjel]

Services for UNIX har blitt erstattet med "Subsystem for Unix-based Applications". Dette er bl.a. å finne i Windows Server 2003 R2.

[Sokkalf™]

At det finnes for 2003 Server hjelper meg ikke stort.

[stigfjel]

At det finnes for 2003 Server hjelper meg ikke stort.

Si ikke det. Husk at Windows XP Professional x64 Edition baserer seg på Windows Server 2003, ikke XP Professional 32bit. Finner du nedlastbare binærfiler skal du ikke se bort ifra at du kan installere de på systemet ditt.

[Sokkalf™]

Ser dårlig ut. En av grunnene til R2 av 2003 Server var visstnok at SFU ikke fungerte, og at det trengtes et alternativ. Til førsteutgaven er det etter det jeg har lest ingen alternativer, og det er førsteutgaven av 2003 XP x64 er basert på.

 

Uansett, etter det jeg kan se finnes det ikke som separat download, men er en del av 2003 Server-pakken.

[stigfjel]

Det var synd. Da ser det nok dårlig ut. Finnes det ikke nedlastbare binærfiler er det ikke så mye man kan gjøre.

 

Edit: Dette kan være et alternativ. Det koster riktignok penger, men denne klienten støtter bl.a. NFSv4 og kan brukes på Windows XP Professional x64.

Endret 25. januar 2008 av stigfjel

[Sokkalf™]

Er nok ikke aktuelt med noe som koster såpass. Får klare meg med crappy samba inntil videre på XP x64-maskinen. Bruker den tross alt bare til spill, så det er ikke så stor krise.

 

Resten av maskinparken min kjører linux, og der er jo NFS rimelig uproblematisk.

 

Da gjenstår bare maskinen til broren min, men han kjører XP 32-bit, så SFU bør gå fint der.

[Sokkalf™]

Da var saken endelig løst. Synderen var nettverkskortet.

Det funket fint til FTP/SSH 100% av tiden, fint til NFS 99% av tiden (med stort ytelsestap resterende 1% av tiden, merket det på streaming av film), og funket ekstremt dårlig til Samba.

 

Må ha noe med hvordan de ulike protokollene bruker nettverket på.

 

At det faktisk var nettverkskortet var bare flaks at jeg fant ut. Prøvde først 2 forskjellige, det innebygde Realtek Gigabit Ethernet-kortet, og et gammelt 100Mbps Realtek (8139-chipsett). Samme problemet på begge.

 

Så, idag kom jeg over et gammelt Intel 100Mbps-kort med en dodgy plugg på, nederst i skuffen. Tenkte "what if..?" og satt det inn. Og det funket som #(%".

 

Konklusjon: Styr LANGT unna Realtek, ihvertfall til Solaris.

[stigfjel]

Selv holder jeg meg KUN til Intel og Broadcom på nettverk. Har et hovedkrav om at de fleste hovedkort jeg velger skal ha nettverkskontroller(e) fra Intel eller Broadcom. Vil være på den sikre siden.

 

Edit: ifølge min, og tydeligvis din erfaring er det kun disse to produsentene som klarer å levere skikkelige nettverkskontrollere i dag. Det er kjempebra at det løste seg for din del, at du kan bruke samba til din maskinpark.

 

Edit edit: på min kommende filserver vil ikke jeg støte borti dette problemet. Det er fordi at nettverkskontrolleren som sitter på hovedkortet jeg skal benytte (MSI 975X Platinum PowerUp Edition) er av typen Intel PRO/1000 82573L.

Endret 5. februar 2008 av stigfjel

[Sokkalf™]

Nytt Intel PCI-E Gigabit-kort er på vei i posten.

Står som "Certified" på Sun sin HCL, så regner med at det skal funke rimelig problemfritt.

 

Skal ikke spekulere så mye i hva som er "skikkelig" nettverkskontroller eller ikke, men må jo nesten nevnes til Realteks forsvar at kortene deres funker problemfritt i linux og windows. Men har hatt småproblemer med enkelte Realteks i FreeBSD før.

 

Det er nok en issue som er mer sammensatt av både billig hardware og dårlige drivere til Solaris.

Endret 6. februar 2008 av Sokkalf^