TG klasker til med superbredbånd

[GullLars]

Jeg klarte aldri å makse ut hastigheten på mine normale snurredisker under TG11. Da virket det for meg at bordswitchene ikke klarte hastigehetene.

Hver switch (2 per halvrad) hadde 2gbit uplink til å begynne med, noen få fikk oppgradert til 4. Scenesiden av HW-rekka var en av to som faktisk makset 4gbit uplinken.

Så du tror virkelig 5000 personer klarer å makse ut 200Gbit? Tror ikke noen som helst utenfor TG vil legge merke til at TG pågår.

Om jeg får et 10Gbps nettverkskort kan jeg på egenhånd mette den linjen i utgående rettning 24/7 med det ene SSD RAIDet mitt

Om jeg plugger i fler av SSDene mine og skriver til dem i parallell kan jeg også mette en 10Gbit inn linje sustained

 

 

Vel, noen ganger må man tolke det som blir sagt, og jeg er rimelig sikker på at han ikke mente at filen skulle være på 5.000.000 bytes.

Jeg som trodde folk først og fremst skulle reagere på at jeg brukte ordet strømme, ikke at jeg leste artikkelen bokstavelig slik den er skrevet. :)Uansett, binære prefikser skaper så mange unøyaktigheter og misforståelser at jeg har sett meg lei på at det skal være tolkerens oppgave å tolke riktig fremfor skribentens oppgave å skrive riktig. Derfor skyver jeg ansvaret for nøyaktigheten tilbake på skribenten og tolker teksten nøyaktig slik den er skrevet.

Strømme er et ord som blir helt feil i mitt hode. Nesten på linje med sørvis.

Nei, en strøm er et norsk ord. Vannet strømmer i elva, elektronene strømmer gjennom kabelen, data strømmer gjennom nettlinjene.

Sørvis er et engelsk ord skrevet sånn du ville uttalt det på norsk.

 

 

vet du hva SSD-bransjen benytter seg av? k = 1000 (SI) eller k = 1024 (JEDEC)?

 

EDIT: Ser ut til at de bruker SI, så det er jo bra da :-)

De gjør som lagringsmedie produsenter og oppgir kapasitet i GigaBytes (10^9), men selve flash brikkene som brukes i SSDene er av GibiBytes (2^30) kapasitet.

GiB/GB: 2^30 / 10^9 = 1,074. Dette avviket på 7,4% blir vanligvis satt av som reservert spare area som forbrukeren ikke får tilgang til. Noen bruker mer spare area, og man ender da opp med en annen kapasitet. Noen produsenter oppgir også lavere enn faktisk kapasitet for at det skal stemme med NTFS formatert partisjon størrelse.

[GullLars]

Deltagerne hadde vel knapt merket forskjellen om det ble levert 20Gbps...

Om du hadde gitt Nizzen 2stk 10Gbps nettverkskort kunne han ha mettet 20Gbps alene

Om du hadde delt ut 20stk 10Gbps kort til folk i SSD tråden og SSD benchmark tråden tror jeg vi skulle klart å mette en 200Gbps linje med 15-20 personer (i alle fall utgående, forutsatt at det finnes sendere/mottakere som kan opprettholde nok båndbredde på den andre siden)

[Anders Jensen]

Deltagerne hadde vel knapt merket forskjellen om det ble levert 20Gbps...

Om du hadde gitt Nizzen 2stk 10Gbps nettverkskort kunne han ha mettet 20Gbps alene

Om du hadde delt ut 20stk 10Gbps kort til folk i SSD tråden og SSD benchmark tråden tror jeg vi skulle klart å mette en 200Gbps linje med 15-20 personer (i alle fall utgående, forutsatt at det finnes sendere/mottakere som kan opprettholde nok båndbredde på den andre siden)

Det er ikke noe problem å bruke bådbredde bare på tull. Selv bygget jeg et system for et par år siden som klarte å bruke over 14Gbps til fornuftige forsknings formål. Real world workload... Men det er noe annet enn at en skal bruke så mye båndbredde ut mot Internett. Vil uansett tro at flaskehalsen vil ligge eksternt for denne linken og at det for det meste vil være endesystemene som butter.

 

Å sette opp en filserver i dag som drar over 100Gbps er bare spørsmål om penger. Antagelig ikke så mye penger som trengs heller. Par hundre høvdinger.

Endret 2. mars 2012 av Anders Jensen

[MDCCLXXVI]

Uten å ha lest alle innleggene i tråden, hva var det svenskene klarte å bruke av linja på dreamhack? Var det ikke 40Gbit/s eller 40% av linja på 160Gbit/s?

[fargoth]

200 Gbit/s, det er det samme som CERN hadde som krav for å bygge sitt datasenter i Norge. Det går tydeligvis an med de rette partnerne.

 

Cern vil ha 2 linjer a 100gigabit som aldri krysser, slik om en går i stykker funker det uansett,

det mangler norge.

Det er selvsagt helt korrekt, jeg burde ha plukket det opp fra artikkelen selv. Vet du forresten om linjen som benyttes under årets TG går via NIX i Oslo? Så vidt jeg vet støtter jo ikke deres trafikkpunkter noe i nærheten av 200 Gbit?

[svelemoe]

Aha, det er der feilen dukker opp. Linjekapasitet oppgis i Gb/s, ikke Gib/s.

Takk.

Alt for mange som fortsatt rotar med KiB/KB.

[Anders Jensen]

http://www.gathering.org/tg11/files/content/images/tg11-design.png

 

Ser ut som om 2011 nettverket var satt opp slik at halvparten av intern trafikken konkurrerte med kapasiteten på internett linken pluss at de lastet ned CRS routeren med intern trafikk. Ser veldig rart ut. Uten en direkte kobling mellom CoreS og CoreN er det vanskelig å se for seg at flaskehalsen ikke skulle være i campus LAN, noe som er en baklengs situasjon å sette seg i...

Endret 4. mars 2012 av Anders Jensen

[Sparboresh]

Deltagerne hadde vel knapt merket forskjellen om det ble levert 20Gbps...

Om du hadde gitt Nizzen 2stk 10Gbps nettverkskort kunne han ha mettet 20Gbps alene

Om du hadde delt ut 20stk 10Gbps kort til folk i SSD tråden og SSD benchmark tråden tror jeg vi skulle klart å mette en 200Gbps linje med 15-20 personer (i alle fall utgående, forutsatt at det finnes sendere/mottakere som kan opprettholde nok båndbredde på den andre siden)

Det er ikke noe problem å bruke bådbredde bare på tull. Selv bygget jeg et system for et par år siden som klarte å bruke over 14Gbps til fornuftige forsknings formål. Real world workload...

 

Dette systemet skulle jeg gjerne hatt litt mer info om. Kunne du ha sagt litt om hva slags type jobb du kjørte på systemet (gjerne forskningsfeltet også), hvor mange prosesseringsnoder systemet benyttet, topologi, nettverksteknologi (InfiniBand?), og hva 14Gbps refererer til; er det f.eks. snakk om gjennomsnittelig forbruk/krav til linker i nettverket, eller peak for én link i løpet av en kjøring? Referer gjerne til et paper om forskningsresultatene har blitt publisert(?).

 

Takker og bukker

[xaco]

KB/kB BETYR tusen Bytes.

KB er KelvinByte. Som er forsåvidt sprøyt siden kelvin er en måleenhet for tempratur... Men skal man følge SI sine definisjoner så er KB Kelvin Byte.

Endret 5. mars 2012 av xaco

[Anders Jensen]

Deltagerne hadde vel knapt merket forskjellen om det ble levert 20Gbps...

Om du hadde gitt Nizzen 2stk 10Gbps nettverkskort kunne han ha mettet 20Gbps alene

Om du hadde delt ut 20stk 10Gbps kort til folk i SSD tråden og SSD benchmark tråden tror jeg vi skulle klart å mette en 200Gbps linje med 15-20 personer (i alle fall utgående, forutsatt at det finnes sendere/mottakere som kan opprettholde nok båndbredde på den andre siden)

Det er ikke noe problem å bruke bådbredde bare på tull. Selv bygget jeg et system for et par år siden som klarte å bruke over 14Gbps til fornuftige forsknings formål. Real world workload...

 

Dette systemet skulle jeg gjerne hatt litt mer info om. Kunne du ha sagt litt om hva slags type jobb du kjørte på systemet (gjerne forskningsfeltet også), hvor mange prosesseringsnoder systemet benyttet, topologi, nettverksteknologi (InfiniBand?), og hva 14Gbps refererer til; er det f.eks. snakk om gjennomsnittelig forbruk/krav til linker i nettverket, eller peak for én link i løpet av en kjøring? Referer gjerne til et paper om forskningsresultatene har blitt publisert(?).

 

Takker og bukker

Det var et svært enkelt HPC system med 24 dual sokkel noder og en filserver. Nodene hadde 1GbE nettverk og filserveren hadde 2x10GbE. Workload var medisinsk billedbehandling. Har ikke mye kjenskap til / husker ikke nøyaktig hva som ble gjort i akkurat denne jobben. Antagelig noe alignment mellom et sett små bilder på toppen av et stort oversiktsbilde på ca 1GB. Alle nodene dro ned det store bildet i den belastningen som peaket mest på filserveren. Ikke så rart da de andre jobbene var mer CPU bunnet og filserveren hadde bare 20 spindler å jobbe med som gjør jobbing mot større datasett vanskelig. Hele systemet kom under 600k i 2009 mener jeg, båndbredde refererer til nettverkskoblingen på filserveren.

Endret 5. mars 2012 av Anders Jensen

[Sparboresh]

Det er ikke noe problem å bruke bådbredde bare på tull. Selv bygget jeg et system for et par år siden som klarte å bruke over 14Gbps til fornuftige forsknings formål. Real world workload...

 

Dette systemet skulle jeg gjerne hatt litt mer info om. Kunne du ha sagt litt om hva slags type jobb du kjørte på systemet (gjerne forskningsfeltet også), hvor mange prosesseringsnoder systemet benyttet, topologi, nettverksteknologi (InfiniBand?), og hva 14Gbps refererer til; er det f.eks. snakk om gjennomsnittelig forbruk/krav til linker i nettverket, eller peak for én link i løpet av en kjøring? Referer gjerne til et paper om forskningsresultatene har blitt publisert(?).

 

Takker og bukker

Det var et svært enkelt HPC system med 24 dual sokkel noder og en filserver. Nodene hadde 1GbE nettverk og filserveren hadde 2x10GbE. Workload var medisinsk billedbehandling. Har ikke mye kjenskap til / husker ikke nøyaktig hva som ble gjort i akkurat denne jobben. Antagelig noe alignment mellom et sett små bilder på toppen av et stort oversiktsbilde på ca 1GB. Alle nodene dro ned det store bildet i den belastningen som peaket mest på filserveren. Ikke så rart da de andre jobbene var mer CPU bunnet og filserveren hadde bare 20 spindler å jobbe med som gjør jobbing mot større datasett vanskelig. Hele systemet kom under 600k i 2009 mener jeg, båndbredde refererer til nettverkskoblingen på filserveren.

 

Fint - takker. Jeg jobber blant annet litt med metningskontroll innen HPC-nettverk, og var interessert i trafikkmønsteret og applikasjonen som forårsaket trafikken. I ditt tilfelle var det da altså snakk om en stjerne-aktig topologi/single Eth-switch med en enkelt hotspot, brukt innen medisinsk forskning. Takker

[vetlelg]

Her var det mye tull i kommentarfeltet, men Simen1 er vel den eneste som har funnet riktig svar her.