BSD/UnixBSD/UnixFilserver med zfs - hva bør man tenke på?

[Sokkalf™]

Serveren min med 8.1, 8GB RAM, kræsjer en sjelden gang med kmem_malloc, så HELT modent er det ikke. Burde vel oppgradere til 8.2.

[siDDis]

Det er vell fordi du har prøvd å tune det?

[Sokkalf™]

Nei, har ingen tuning på, bortsett fra i /etc/sysctl.conf, hvor jeg har følgende :

 

vfs.zfs.txg.write_limit_override=1048576000
vfs.read_max=32

 

Før jeg gjorde dette fikk jeg svært ujevn ytelse.

 

Går greit til vanlig bruk, men hadde et par kræsj mens jeg kopierte data over til den da den var blank (ca. 1,5TB med data ble kopiert). I tillegg har den kræsjet en gang sammenfallende med at en Windows7-boks startet backup til den.

[siDDis]

Merkeleg, er du sikker på at det ikkje skyldes andre faktorer? F.eks kontrolleren?

 

BTW FreeBSD 8-Stable har nå ZFS 28

[Sokkalf™]

Er en vanlig Intel ICH9R-kontroller, vanskelig å se for meg at det skal være noe problemer med den. Dessuten var det den derre kmem_malloc-panic'en.

 

Skal oppgradere når jeg får tid, bare vanskelig å finne tid når det er 20° ute og ting egentlig virker helt greit.

[nems]

Noen av dere som har hatt problemer med ytelse og har WD20EARS disker?

 

Jeg har 3 slike og hadde tenkt å kjøpe noen til for å sette opp en ZFS filserver etter å ha lest om det her, men etter hva jeg har lest er dette dumt?

 

Jeg føler ikke at jeg har helt oversikt over dette men siden de bruker noe som heter advanced formatting så er ikke fysisk sektorstørrelse lik det som blir rapportert til OSet og dette fører til misalignment på disken?

 

Helt greit å rette på meg hvis jeg tar feil men jeg skal til bunns i dette før jeg evt bestiller flere disker av samme type..

Endret 10. juli 2011 av nemo81

[Sokkalf™]

Jeg har (dårlig) erfaring med WD15EARS-disker. Jeg fikk aldri mer enn 5-20MB/sec ut av dem med ZFS, og byttet dem i Hitatchi-disker som fungerer utmerket.

 

Problemet var som du sier misalignment, og det er ikke uten videre noen lett jobb å rette opp i dette, selv om det ser ut til at det har vært noe fremgang mtp. dette. Ta et søk på forums.freebsd.org, så finner du sikkert litt mer oppdatert informasjon.

[nems]

Joda, har lest ganske mye på det idag, og har funnet flere grunner til å ligge unna WDC Green disker når man skal bruke ZFS.

 

Litt kjedelig siden jeg allerede har 3 av de men.

 

 

Får vurdere å kjøpe noen andre disker kanskje, noen som har tips til hvilke disker som faktisk funker bra?

Leste at Spinpoint 4 skulle være ok men ser at Dustin kjører tilbud på ST2000DL003 til 549kr pr stk nå..

 

EDIT:

 

Det er ikke noe i veien for å mixe og matche disse med WDCGreen så vidt jeg kan se så jeg kan jo fortsatt bruke de, og heller be om andre type disker når de failer SMART tester..

Endret 10. juli 2011 av nemo81

[tingo]

Nå har jeg foreløpug inge "advanced format" (4k) disker, men basert på de siste postingene i denne tråden, så ser det jo ikke så vanskelig ut å få til korrekt alignment.

Her er en tråd til.

Kanskje greit og prøve før du bytter ut diskene dine?

[nems]

Jau, jeg gikk for 3stk Seagate ST2000DL003.

Så da kjører jeg 2xWDC 2TB Green samt de 3 sammen i en raidz.

 

Har lest de trådene du linket til idag jeg også så vet nå at det er muligheter , jeg er veldig fersk i dette området men føler at ting er godt forklart så det ordner seg vel

 

 

Litt usikker på om jeg skal gå for FreeNAS 8 eller om jeg kanskje skal teste OpenIndiana+napp-it...

Jeg har FN8 kjørende på serveren nå og har lekt meg litt der og det ser ut til å fungere greit men har sett folk si at det er endel bugs med det og jeg vil helst bare ha noe jeg setter igang så trenger jeg ikke tenke så mye på det mer..

[tingo]

Oppdatering. fikk kjøpt 8 GB (2 x 4 GB) DDR2 DIMMer på eBay, så nå har filserveren fått 8 GB minne:

root@kg-f2# dmesg | grep memory
real memory  = 8589934592 (8192 MB)
avail memory = 8111308800 (7735 MB)

Nå er det på tide å oppgradere FreeBSD, maskina kjører en versjon fra 2011:

root@kg-f2# uname -a
FreeBSD kg-f2.kg4.no 8.2-STABLE FreeBSD 8.2-STABLE #5: Fri Jun  3 17:20:39 CEST 2011     [email protected]:/usr/obj/usr/src/sys/GENERIC  amd64

Endret 27. februar 2016 av tingo

[kpolberg]

Lykke til =)

[tingo]

Oppgraderingen gikk bra, maskina kjører nå

root@kg-f2# uname -a
FreeBSD kg-f2.kg4.no 8.4-STABLE FreeBSD 8.4-STABLE #6 r296141: Sat Feb 27 20:38:47 CET 2016     [email protected]:/usr/obj/usr/src/sys/GENERIC  amd64

"Trikset" var vel å oppdatere bootcode på de to diskene jeg booter fra før jeg rebootet etter å ha installert ny kjerne og world.
Endret også til ahci, selv om jeg var litt bekymret for om dette vill kludre til for zfs når diskene byttet navn. Men det gikk helt fint.
disker

root@kg-f2# camcontrol devlist
<SAMSUNG HD103SJ 1AJ100E4>         at scbus0 target 0 lun 0 (ada0,pass0)
<SAMSUNG HD252HJ 1AC01118>         at scbus1 target 0 lun 0 (ada1,pass1)
<SAMSUNG HD252HJ 1AC01118>         at scbus2 target 0 lun 0 (ada2,pass2)
<SAMSUNG HD103SJ 1AJ100E4>         at scbus3 target 0 lun 0 (ada3,pass3)
<SAMSUNG HD103SJ 1AJ100E4>         at scbus4 target 0 lun 0 (ada4,pass4)
<SAMSUNG HD103SJ 1AJ100E4>         at scbus5 target 0 lun 0 (ada5,pass5)
<SAMSUNG HD103SJ 1AJ100E4>         at scbus6 target 0 lun 0 (ada6,pass6)

root poolen er et speil (av partisjoner) på to disker

root@kg-f2# zpool status zroot
  pool: zroot
 state: ONLINE
  scan: none requested
config:

    NAME           STATE     READ WRITE CKSUM
    zroot          ONLINE       0     0     0
      mirror-0     ONLINE       0     0     0
        gpt/disk0  ONLINE       0     0     0
        gpt/disk1  ONLINE       0     0     0

errors: No known data errors

gpart sier

root@kg-f2# gpart show
=>       34  488397101  ada1  GPT  (232G)
         34        128     1  freebsd-boot  (64k)
        162    8388608     2  freebsd-swap  (4.0G)
    8388770  125829120     3  freebsd-zfs  (60G)
  134217890  354179245        - free -  (168G)

=>       34  488397101  ada2  GPT  (232G)
         34        128     1  freebsd-boot  (64k)
        162    8388608     2  freebsd-swap  (4.0G)
    8388770  125829120     3  freebsd-zfs  (60G)
  134217890  354179245        - free -  (168G)

til slutt oppgraderte versjoner på zpool og zfs.

 

Endret 27. februar 2016 av tingo

[endrebjo]

Har du noen tanker hvorfor du oppgraderte til 8.4 i stedet for 9.x eller 10.x? For 8.x mistet support for mer enn et halvt år siden.

Jeg tenker å oppgradere fra 9 til 10 i sommer for å holde det oppdatert, men jeg ønsket å vente på 10.3 før jeg oppgraderer. 9.x ser ut til å forsvinne i desember.

[siDDis]

Er det noko poeng i å oppgradere då? Eg vil tippe 8.4 fungerer såpass bra at han kan køyre det i mange år framover. Latest and greatest er ikkje alltid verdt det.

[Sokkalf™]

Jeg kjører fortsatt OpenIndiana fra 2011ish.

 

Står "bakerst" i nettverket, så er ikke veldig redd for sikkerheten - og det bare surrer og går og funker. Bytter det sannsynligvis ut med FreeBSD neste gang jeg må røre det.

[tingo]

Den eneste grunnen til at jeg oppgraderte var at jeg fikk /etc/periodic/daily/800.scrub-zfs

Ja, jeg er lat.

[siDDis]

Bra å vere lat! :-)

Eg har pleid å oppgradere grunna diverse bugs, f.eks i FreeBSD 10-2-RELEASE så er nå ein bug med L2ARC der når cachen/ssd-disken er full. Så fortsetje den å cache ting. Til slutt går du tom for mapping i ARC og alt kræsjer.

[endrebjo]

Er det noko poeng i å oppgradere då? Eg vil tippe 8.4 fungerer såpass bra at han kan køyre det i mange år framover. Latest and greatest er ikkje alltid verdt det.

Jeg holder meg stort sett unna latest and greatest (derfor venter jeg med 10 til 10.3 er ute). Men jeg prøver likevel å holde meg innenfor det som fremdeles er støttet. Sånn i tilfelle det skulle bli oppdaget seriøse sikkerhetsbugs på et tidspunkt.

[tingo]

Erstattet en disk (ada6). Av en eller annen grunn ville ikke FreeBSD skrive til den nye disken uten feil etter jeg hadde byttet disk (hotswap virker), så jeg plukket ned serveren, renset den for støv og re-plugget sata-kablene. Nå funker den slik den skal.

 root@kg-f2# zpool status storage
  pool: storage
 state: ONLINE
  scan: resilvered 873G in 5h15m with 0 errors on Tue Nov  7 03:05:18 2017
config:

    NAME        STATE     READ WRITE CKSUM
    storage     ONLINE       0     0     0
      raidz1-0  ONLINE       0     0     0
        ada3    ONLINE       0     0     0
        ada4    ONLINE       0     0     0
        ada5    ONLINE       0     0     0
        ada6    ONLINE       0     0     0
        ada0    ONLINE       0     0     0

errors: No known data errors

det er alt.