Mens vi venter på Ubuntu 16.04

[Sokkalf™]

Der jeg jobber bruker vi vagrant for "virtuelle" dev-environments, men med LXC-backend, som gir oss "på jernet"-ytelse. Vurderte å bytte ut med LXD, da futten har gått litt ut av prosjektet vagrant+LXC i det siste.. men det med shared storage ble her en liten showstopper.. så nå er jeg i ferd med å tweake vagrant+LXC så det funker smooth med Ubuntu 16.04 i vårt oppsett.

 

Et alternativ kunne vært NFS, men det er betydelig mer knot (som i at jeg må skrive scriptene som fikser deling selv istedenfor å bruke noe ferdig) og lavere ytelse.

[siDDis]

Det er faktisk ikke alltid "lavere" ytelse med NFS. Få dere skikkelig nettverk, så vil du se at en shared storage løsning vil være raskere enn lokal lagring på hver maskin. :-)

 

Nøkkelen her RDMA! Ikke er spesielt vanskelig å sette opp heller om du har hardware som støtter dette. Per dags dato så er RDMA litt dyrt for Ethernet, men det finnes mange gode billige Infiniband løsninger.

 

Med dagens billige 10G kort så makser jeg rundt 400 - 500MB/s med 8k read/write der CPU blir flaskehals. Må øke den til 32k for å greie å utnytte 10G linjen. Men med RDMA så er CPU nesten i null.

 

Med iSCSI så får jeg fullt 10G, men det er kanskje fordi den leser blokker i dynamisk størrelse og er ikke låst til en størrelse som NFS? F.eks Linux har jo en standardverdi på 128k til read-ahead, selv om du bare skal lese 8k.

Du kan sjekke den med

 

cat /sys/block/sda/queue/read_ahead_kb

[Sokkalf™]

De som håndterer innkjøp osv er nok ikke SÅ fleksible at vi kan slå oss løs med lagringsløsninger og 10GbE.

 

Vi kjører jo utviklingscontainers lokalt på maskinen, så NFS ville blitt mellom containeren og hosten.

[RattleBattle]

Takker for svar. Jeg tror ikke noe er relevant i mitt tilfelle. Alt jeg egentlig bryr meg om:

...Fucked Up...
zfs rollback home/LXD/containers/seafileserver@2016-08-11_120001_hourly
...No longer fucked up...

[RattleBattle]

Kan også nevne at ZFS gjør LXD/LXC mye raskere ved opprettelse av nye containere. Den oppretter en ny container fra en ZFS snapshot i stedet for en filkopiering, noe som gjør at det tar sekunder i stedet for minutter. LXC snapshots blir også til en ZFS snapshot, noe som gjøre det hele til en ganske snedig greie.