Servere, SAN og switcher fra Cisco

[int20h]

Cisco utvider den tradisjonelle nettverksporteføljen med servere og SAN-utstyr.

 

Les mer

[Anders Jensen]

Cisco har ikke lagringskontrollere... enda. De har kun SAN switch og konvergert nettverk (SAN + Ethernet i samme switch).

[GullLars]

Er det bare meg som begynner å bli lei av at folk misbruker x.0 navning?

 

F.eks. å si "Selskapet har denne uken rullet ut versjon 3.0 av sin datasentersatsning" gir ingen mening om det ikke finnes versjon 2.x (x != 0), 1.x, eller er planer for versjoner 3.x. Da kan man heller si "Selskapet har denne uken rullet ut versjon 3 av sin datasentersatsning", eventuelt "Selskapet har denne uken rullet ut generasjon 3 av sin datasentersatsning".

 

Jeg er også ekstremt oppgitt over folk som ikke har peil på data i det heletatt som misbruker 2.0 og 3.0 når det ikke er realistisk med underversjoner 2.x eller 3.x, eller ikke har finnes 1.x eller 2.x.

[Anders Jensen]

Det er vel ikke umulig at en kan rettferdiggjøre at det kommer 3.x versjoner i dette tilfellet. Det hele er uansett bare markedsføring. Datasenter er liksom ikke noen enhetlig teknologi en kan sette fornuftige versjonsnumre på. Det som er poenget her er ny type nettverk som viser seg å passe veldig godt sammen med virtualisering.

 

Gleder meg mest til datasenter 4.0 kommer. Tipper det er Infiniband...

[GullLars]

Jeg forventer også at Infiniband, eller en tilsvarende type switched fabric med høy båndbredde og lav latency blir kommende standard, spesielt etterhvert som SSDer (både flash og RAM) sniker seg inn flere plasser og mulighet for båndbredde og latency i forhold til budsjett (både kroner og Watt og U (rackspace)) tar av massivt.

 

Anders, er det forresten mulig Infiniband eller tilsvarende kan lages i en budsjettramme som kan implementeres i forbruker-maskiner og nettverk i løpet av de kommende 5 årene? Selv 1Gbit ethernett kommer til å bli tregt når SSDer blir mer mainstream og HDDer vil nærme seg 200MB/s sekvensielt.

[Agrophel]

GullLars se på "light peak" kan brukest fra bilde på skjermer til overføre store filer

 

light peak er 10Gbit.

[cfgmgr]

Er det virkelig noen som tror at Infiniband kommer til å dominere som lagringsprotokoll i datasentre eller er det bare ønsketenkning. Vi har allerede FC som gir høy båndbredde og lav latency, selvfølgelig gitt at man unngår flaskehalsen Cisco-direktører med 10:1 oversubscribtion eller hva det er. I tillegg er FCoE på vei inn. Og iSCSI kan ikke fullstendig avskrives nå som 10Gig ethernet begynner å bli oppnåelig.

 

Infiniband er for HPC og spesielt interesserte og kommer ikke til å ta steget derfra noengang.

[Anders Jensen]

Er det virkelig noen som tror at Infiniband kommer til å dominere som lagringsprotokoll i datasentre eller er det bare ønsketenkning. Vi har allerede FC som gir høy båndbredde og lav latency, selvfølgelig gitt at man unngår flaskehalsen Cisco-direktører med 10:1 oversubscribtion eller hva det er. I tillegg er FCoE på vei inn. Og iSCSI kan ikke fullstendig avskrives nå som 10Gig ethernet begynner å bli oppnåelig.

 

Infiniband er for HPC og spesielt interesserte og kommer ikke til å ta steget derfra noengang.

Har du tenkt over at alt det overnevnte kobles til datamaskinen via PCIe? Og at PCIe er en de-featured IB, med gammeldags PCI addresseringsmodus og software stack? Alt går i praksis over IB teknologi i dag enten du vil eller ikke. Spørsmålet er bare om det er noen fornuft i det heletatt å holde seg med alle disse andre teknologiene. I det lange løp er nok svaret nei, men IB er for umodent til store nettverk per i dag. Det er f.eks en utfordring med IP routing over IB. Denne tror jeg blir løst snart. Jeg googlet den eneste fornuftige løsningen og jaggu var det ikke noen som hadde patentert distribuert IB router med internt subnett... så det er kun et spørsmål om tid.

 

Uansett er det jo lagringsfolka som stort sett er mest skeptisk til konvergert nettverk og der er jo IB suverent i forhold til DCB så langt jeg kan se. LAN folka tar stort sett hva som helst så lenge det er billig nok og har høy teoretisk throughput.

Endret 12. april 2010 av Anders Jensen

[GullLars]

Snakker om billig nokk. Hva er prisområde for infiniband? Er det mulig å få det ned i konsumer-området de neste årene?

[cfgmgr]

Har du tenkt over at alt det overnevnte kobles til datamaskinen via PCIe? Og at PCIe er en de-featured IB, med gammeldags PCI addresseringsmodus og software stack?

Nei, jeg har vel egentlig ikke tenkt så mye på det. Det jeg er ute etter er en udypning av din påstand om at IB er det neste som kommer til å bære kommunikasjonen i datasenteret. Jeg kan forstå det teoretiske med at IB er best i klassen på båndbredde og latency og jeg kan derfor være med på at du synes det burde vært sånn. Men det er langt derfra til å tippe at IB blir dominerende.

 

Skal man anskaffe seg et datasenter i dag så er ikke IB på kartet en gang. Hvor er de store IB-leverandørene som er klare til å ta opp kampen mot Cisco et. al.? Det står eller vil stå mellom DCE(Data Center Ethernet) som bærer av IP og FC eller delt transport med DCE/Ethernet som transport for IP og dedikert transport for FC.

[Anders Jensen]

Som nevnt så har ingen lagd en IB router enda. En har heller ikke billig aksessnettverk for IB klienter.

 

Da blir jo IB i datasentret ganske håpløst. En kan ikke implementere enkle nettverk bestående av kun ett subnet hvor en har mange klienter siden klientene vil dra opp prisen. Siden en ikke har noen router kan en kun benytte det som backend nettverk ikke som frontend og da er jo hele konvergeringsprinsippet allerede håpløst.

 

Slik jeg ser det er styrkene til IB; latency, throughput(/watt) og multipathing som går langt utenpå FC. Når router problemet er løst så kan IB innta datasenteret, og som nevnt er en slik løsning allerede patentert.

http://www.freepatentsonline.com/7307996.html

 

Når aksessnett prisen er løst så kan IB innta aksessnettet. Om IB er egnet til WAN er jeg noe usikker på, da det er en del utfordrende link kvaliteter som IB ikke har tatt høyde for.

 

Router problemet er vel hovedsakelig knyttet til tracking av tilstand i de virtuelle linkene (queue pairs). En opplagt løsningen er som nevnt å distribuere routeren fremfor å lage monolittiske routere som uansett ikke kan skalere i lengden. Aksessnett tror jeg ikke blir billig før 10GbE er blitt billig for det er vel den fyssiske bæreren en trenger for å kjøre x1 IB.

Endret 12. april 2010 av Anders Jensen

[mrs.robinson]

GullLars se på "light peak" kan brukest fra bilde på skjermer til overføre store filer

 

light peak er 10Gbit.

 

Ja her snakker vi hastighet. Mon tro hvor lenge vi må vente på forbrukerprodukter? Og snakker vi da optiske nettverkskabler mellom "light peak" switch og maskinene? Vil det være hubber og annet periferi utstyr i markedet kjapt nok til at light peak tar av?

 

Så gjennstår det jo å se om dette blir en standard som blir utbredt. Men det er vel tvilsomt. Blir vel atter en "format" krig. Beta vs vhs. Usb vs firewire. Blue ray vs HD dvd.

 

Om prisingen på lisenser blir lave nok til at mange nok produsenter kaster seg på så hadde det kanskje vært en sjanse. Vært veldig greit med 1 kabel for alt.

Endret 13. april 2010 av mrs.robinson

[Anders Jensen]

Om jeg ikke har missforstått helt så er light peak en lag 1++ OSI teknologi som kan kapsle inn andre protokoller som USB, HDMI osv i virtuelle tuneller. Hvis så er riktig så stiller de ganske sterkt i en eventuell formatkrig.

[mrs.robinson]

Om jeg ikke har missforstått helt så er light peak en lag 1++ OSI teknologi som kan kapsle inn andre protokoller som USB, HDMI osv i virtuelle tuneller. Hvis så er riktig så stiller de ganske sterkt i en eventuell formatkrig.

 

Ja det stemmer som du sier. Light peak kan kapsle inn USB, HDMI etc.

Så teoretisk så kan vi se kabelnirvana. Langt enklere for forbrukerne. Men som vi har sett mange ganger tidligere så er det hverken innovasjon eller teknologisk suvernitet som avgjør hvem som kommer sierende ut av formatkriger. Det er enorme fremtidige inntekter for vinnerne, og vi har vel alltid sett når det kommer teknologiske nyvinninger så er markedspenetreringen mildt sagt et langt løp. Markedsmakt og ikke minst lisensavgifter vil avgjøre nå som tidligere.

 

Beta max var en bedre løsning enn VHS. Men vi vet hvem som vant. Beta gikk fra å også være et forbrukerprodukt til å bli rent proffutstyr for TV stasjoner o.l. Og slikt har gjentatt seg mnge ganger siden starten på 80 tallet.

[Anders Jensen]

Her begynner det å skje saker. IB switch med 10G Ethernet bridge:

http://www.voltaire.com/Products/InfiniBand/Grid_Director_Switches/voltaire_grid_director_4036E

 

"Ultra-low latency with less than 100 nanoseconds between InfiniBand ports and less than two microseconds between InfiniBand and Ethernet"

 

Nexus 4000 har ca 1,3-1,5 mikrosekunder port til port som raskeste(?) Cisco switch Ikke så ille dette altså! Husket jeg å gjenta at ethernet suger?

http://www.networkcomputing.com/data-center/cisco-outlines-data-center-30.php?type=article

Endret 16. april 2010 av Anders Jensen

[GullLars]

Anders, noen sånne kombinert med et par slike eller ioDrives med infiniband backplane er kanskje nokk til å provosere en slik respons hos admin/drift

[Anders Jensen]

Det beste hadde vært om en fikk en appliance type Netapp FAS eller v-serie med IB grensesnitt. Der er det fine flash cache kort å få tak i. Jeg er prinsippielt imot rene flash lager som ikke benyttes som (read) cache i så store systemer. Det blir alt for lav hitrate på dedikerte lager i forhold til kost og kapasitet.

[GullLars]

Når du sier "dedikerte lager" og å bruke flash som read cache, mener du da at dedikert RAM i enten servere (DIMMs) eller på kontrollere?

ioDrives satt opp med IB (som er et alternativ) vil være en ypperlig form for cache, med nyeste revisjon har SLC versjonene 25µs read latency, og du får 160GB pr kort (320GB for ioDrive duo). Ved å bruke en dedikert 3U rack som den jeg har linket til over så er det mulig å ha en 4TB cache med 1,7M IOPS, til en mye hyggeligere pris enn RAM.

 

Forresten Anders, omtrent hvor er "sweet spot" for forhold lagring til read-cache for å få got hitrate? Og hva mener du om å ha to nivåer med caching, flash for mesteparten, og RAM for hotfiles som både leses og skrives mye?

 

 

Mtp Flash som read-cache så har jeg tenkt en del over det, og har kommet frem til at det kunne vært kjekt med en f.eks. 8GB flash read-cache for 1TB+ harddisker (satt opp som internt organisert read-cache fra logging av LBA aktivitet).

Jeg håper også fler produsenter vil lage muligheter for ASAP i RAID kort på samme måte som Adaptec, bare ikke med proprietære overprisede design. Jeg hadde lett dedikert en 30GB vertex som read-cache for et RAID-5/6 fra min 5805, men jeg blar ikke opp 5000++ for en 32GB x25-E med custom firmware (som bare er merket).

[Anders Jensen]

Tenker på å bruke flash som read cache for disker i steden for å bruke flash som lager. Det er så stor forskjell i ytelse og pris på disk og flash at en ikke bør benytte flash som lager. Med et par TB flash som cache for et større disklagerkan en få veldig stor trafikk mot cache noe som er bra. Om en skal lagre et par TB data direkte på flash skal en ha veldig spesiell workload for at trafikken skal bli stor over tid. Web cache er vel eneste jeg kan komme på og da er jo lageret igjen effektivt brukt som en cache. Forskjellen er bare hvor cachingen gjøres. Med løsningen Netapp benytter eller cache funksjonen i ZFS så kan en få effektiv caching for en større bredde av workloads i et servermiljø.

 

Når det gjelder sweetspot for hitrate så er vel det like mye avhengig av workload og hvor smart cache algoritmen ersom størrelsen. Sekvensielle workloads har det med å gjøre cache trashing om en har for dum algoritme. Har du "longtail" workload så er cache lite effektivt i forhold til en "blockbuster" workload. Se for deg at du server video over internett. Hvis du leverer kun "blockbusters" så lærer serverne dine fort hva som er populært til enhver tid og kan dra det opp fra disk. Hvis du leverer noen millioner sære titler (longtail) så vil det lastes opp alt mulig rart kontinuerlig og det finnes ingen effektiv caching. Det blir full stroke random read selv om hver enkelt stream er sekvensiell.

 

Tommelfingerregelen er vel at cachemiss halveres når cache dobles. Det blir heftig med diminishing returns etter hvert.

[GullLars]

Når det gjelder diminishing returns som du nevner, så er det en mulighet ja, men om cache er 100x raskere (accesstime eller IOPS) enn lageret vill 50% hitrate til 75% hitrate nærmest halvere effektiv accesstime, og 75% hitrate til 87,5%, om du skjønner hva jeg sikter til. Det vil føre til at diminishing returns i hitrate alikevell gir god skalering av aksellerasjonen (opp til et visst punkt hvor effektiv accesstime er et lavt multiplum av cache).