EMGS med kraftig oppgradering av klynge

[knut]

EMGS har fra før en av de kraftigste regneklyngene her til lands med sine 500 Xeon-noder. Nå har de annonsert en kraftig økning i ytelsen med 1300 nye noder.

Les mer

[C₈H₁₀N₄O₂]

EMGS har planer om å frakte overskuddsvarmen til Trondheims fjernvarmeanlegg slik at man ikke bare fyrer for kråkene.

Så genialt!

 

Mye futt i det opplegget der. Skulle gjerne hatt en sånn. Jeg har ikke noe å bruke den til men jeg skulle gjerne hatt det.

 

Kanskje putte på noen biffete skjermkort så kan den dra Alan Wake?

[kilik]

70 teraflops og 22 TB RAM er ikke verst Klarer den LINPACK-benchmarken på opp mot 65-70 TFlops vil den være den sjuende raskeste datamaskinen i verden og den raskeste datamaskinen i hele Europa (MareNostrum i Barcelona klarer 63 TFlops).

 

Savner noe i artikkelen om hva EMGS er og hva de skal bruke all regnekraften til. Selv jeg som bor i Trondheim kjenner lite til virksomheten.

 

 

For ordens skyld (Wikipedia):

ElectroMagnetic GeoServices AS (EMGS) er et norsk selskap som bruker Sea Bed Logging (SBL) til å finne hydrokarboner under havbunnen. 90% av EMGS eies i dag av det amerikanske investeringsfondet Warburg Pincus, de resterende 10% eies av de ansatte.

 

Selskapet ble etablert 1. februar 2002 av gründerne Terje Eidesmo og Svein Ellingsrud. Har hovedkontor i Stiklestadveien 1 i Trondheim og regionskontor i Stavanger, Oslo, Houston og Kuala Lumpur og i tillegg ytterligere representanter i Europa, Asia, Afrika, Sør-Amerika og Nord-Amerika.

Endret 14. august 2007 av kilik

[Simen1]

De 1300 nye nodene blir får to prosessorer med to kjerner, altså 5200 nye prosessorkjerner.

Hvorfor flesker de ikke bare til med firekjerner når de først er i gang? Å gå fra to til fire kjerner på bladservere utgjør ikke så veldig mange prosent ekstra kostnad. Selv for modeller med samme hastighet og TDP som dobbeltkjernene.

 

EMGS har planer om å frakte overskuddsvarmen til Trondheims fjernvarmeanlegg slik at man ikke bare fyrer for kråkene.

Supert! De får en stjerne i boka der.

Endret 14. august 2007 av Simen1

[Simen1]

Kilik: NRK har en kort artikkel om hva selskapet driver med.

 

 

Det heile handlar om elektromagnetiske bølgjer. Bøljene sendast ned i havbotnen frå ein wirelinelogg og lagrast i mottakar på havbotnen. Resultatet bearbeidast ved hjelp av ei enorm datamaskin i Trondheim.

 

Til slutt kan ein ved hjelp av 3D-teknologi vise fram plansjar som syner kor oljen og gassen er. Vanleg seismikkleiting ved lydbølgjer viser berre kor ein trur oljen og gassen er.

 

Stiklestadveien 1 ligger forresten like ved EC Dals bryggeri og like ved der jeg bodde før. De driver å bygger et digert nytt bygg der men jeg vet ikke om det er EMGS som skal utvide dit. Det er egentlig godt mulig siden bygget er ferdig utvendig nå og fjernvarmen graves bortover til det bygget for tida. Gravingen av rørene hadde i slutten av juni kommet til "trehuset" på Svartlamoen, ca 2-300 meter fra Stiklestadveien 1.

[dbuch]

Det kan det være flere årsaker it:

 

- Grad av parallelisering av sofware. Seismikk algoritmer er ikke alltid 'embarrassingly parallel' - men er avhengige av cache hit/miss ratio. Husk at RAM IO er gudjammerlig tregt (i motsetning til RAM I/O for f.eks. Nvidia TESLA ol.)

- I/O til/fra disk/nett er ofte begrensende faktor, ikke CPU (og å gå til Infiniband er ikke alltid regningssvarende - selv om Infiniband blir stadig billigere og billigere)

- Uten at jeg har giddet å slå opp - det er ikke sikkert at Dell blades støtter quad core (trolig gjør de vel det).

 

Mvh

DB

 

De 1300 nye nodene blir får to prosessorer med to kjerner, altså 5200 nye prosessorkjerner.

Hvorfor flesker de ikke bare til med firekjerner når de først er i gang? Å gå fra to til fire kjerner på bladservere utgjør ikke så veldig mange prosent ekstra kostnad. Selv for modeller med samme hastighet og TDP som dobbeltkjernene.

 

EMGS har planer om å frakte overskuddsvarmen til Trondheims fjernvarmeanlegg slik at man ikke bare fyrer for kråkene.

Supert! De får en stjerne i boka der.

9276415[/snapback]

[Simen1]

dbuch: Jeg sjekket prisen på dobbeltkjerne vs. firekjerner på bladserverne fra Dell (PowerEdge 1955) før jeg postet.

 

Det kan godt hende at "seismikken" er betydelig I/O-begrenset, men da burde de valgt noe annet enn bladservere med bare 4 porter med 1 Gbit/s nettverk per 40 prosessorkjerner. Da hadde f.eks 2P rack-servere med 10 Gbit/s, HTX, infiniband eller noe i den klassen gitt mest for pengene. Eller for svært trådintensive applikasjoner del, en raskt klokket Itanium 2. Det at de i det hele tatt kjører oppgaven på 5200 prosessorkjerner synes jeg vitner om en svært bra parallell skalerbarhet, noe som får meg til å tro at en dobling av kjerner kan skalere det ytterligere.

 

Etter mine beregninger ut i fra oppgitt pris på Dell sine sider så vil 2*4 kjerner på 1,6GHz øke prisen med 940 kr per blad (2 sokler) i forhold til2* 2 kjerner på 1,6GHz. Det vil si en prisøkning på ~5% på hvert blad. Regner vi at bladene er halve kostnaden av hele systemet inkludert all infrastruktur så vil det si 2,5% på totalprisen. For å få kostnaden til å svare seg bør altså seismikken kjøre minst 2,5% raskere med firekjerner enn med dobbeltkjerner. På grunn av de øvrige valgene av maskinvare tror jeg det er sannsynlig å oppnå betydelig mer enn 2,5% mer ytelse ved å øke til firekjerner.

 

Redigert: På den andre siden så kan det jo hende at det ligger en oppgraderingsstrategi bak valget. F.eks om Dell/Intel garanterer at man skal kunne bruke "Harpertown" (kodenavnet for penryn-varianten av Xeon) på disse systemene så beregner de vel en billig oppgradering om f.eks 1-2 år.

Endret 14. august 2007 av Simen1

[Flippo]

Simen1 - Kanskje det har noe med varmeutvikling å gjöre. Kanskje er det greit at tettheten av CPUer er spredt utover et litt större areal slik at kjölelösningen opperer effektivt?

Endret 14. august 2007 av Flippo

[Wattengård]

Å herregud. Håper jeg slipper å bytte cpu'er på 1300 bladnoder når det blir tid for oppgradering da

 

-C-

[Simen1]

Flippo, det kan godt hende det er noen sånne avveininger selv om det ikke er de store forskjellene i varmeutvikling. (Firekjernene kommer også i utgaver på 50, 65 og 80W.)

 

ChristianW: Hvis en tar ut og setter inn nodeblader mens en annen skifter CPUer så er det sikkert gjort på en ukes tid. Noe som gir dem 52 sekunder per sokkel. Regner med de får dreis på skiftinga etter hvert. Klynga kan sikkert kjøre mens de holder på. (På noe redusert kapasitet selvsagt)

[Stigma]

En "regneklynge" ? ... greit nok at en norsk publikasjon bør prøve å holde seg hovedsakelig til norsk men det høres bare så latterlig ut...

 

-Stigma

[Simen1]

Hvor dumt høres det ikke ut med annenhvert ord norsk og engelsk i en samtale om tekniske ting? Jeg synes det klinger ganske bra og er en tilhenger av at man lager norske ord etter hvert som behovet dukker opp. Uten fornyelse av det norske språket vil det dø. Med for mange låneord vil det vannes ut til en homøopatisk løsning til slutt.

 

"En regneklynge med 2 strømforsyninger og ett hovedkort"

"En computing cluster med 2 power supplyer og ett motherboard"

[Del]

Kilik: NRK har en kort artikkel om hva selskapet driver med.

 

 

Det heile handlar om elektromagnetiske bølgjer. Bøljene sendast ned i havbotnen frå ein wirelinelogg og lagrast i mottakar på havbotnen. Resultatet bearbeidast ved hjelp av ei enorm datamaskin i Trondheim.

 

Til slutt kan ein ved hjelp av 3D-teknologi vise fram plansjar som syner kor oljen og gassen er. Vanleg seismikkleiting ved lydbølgjer viser berre kor ein trur oljen og gassen er.

 

Joa, men NRK er kanskje litt vel populærvitenskapelig etter min smak. Seismikk forsøker å måle reservoaret (og det som er over) sin evne til å lede lyd, Sea bed logging forsøker å måle evnen til å lede strøm. Olje og vann har ikke så veldig forskjellig lydhastighet, men gass som er mye mer kompressibel gir mye større utslag. M.a.o. er seismikk godt egnet til å skille olje og gass, men ikke så godt egnet til å skille olje og vann (selv om det også brukes til det). Derimot leder formasjonsvann (vann i reservoaret, og forsåvidt det som er i overburden) strøm meget godt, mens olje og gass begge leder strøm veldig dårlig, ergo er Sea bed logging godt egnet til å skille vann fra hydrokarboner.

 

Det kan det være flere årsaker it:

 

- Grad av parallelisering av sofware.  Seismikk algoritmer er ikke alltid 'embarrassingly parallel' - men er avhengige av cache hit/miss ratio.  Husk at RAM IO er gudjammerlig tregt (i motsetning til RAM I/O for f.eks. Nvidia TESLA ol.)

- I/O til/fra disk/nett er ofte begrensende faktor, ikke CPU (og å gå til Infiniband er ikke alltid regningssvarende - selv om Infiniband blir stadig billigere og billigere)

9276570[/snapback]

Det var litt av et sammensurium av punkter, men alle er korrekte gitt en implementasjon av en del av problemet. Det er flere måter å prosessere seismikk på, selv inversjonen kan gjøres med eksplisitte eller med implisitte formuleringer, hvilket gir vidt forskjellige flaskehalser og krav til hardware. Nå er likevel em og lyd ikke helt det samme, det er forskjellige likninger som styrer fysikken.

 

En "regneklynge" ? ... greit nok at en norsk publikasjon bør prøve å holde seg hovedsakelig til norsk men det høres bare så latterlig ut...

9278569[/snapback]

Regneklynge eller bare klynge er faktisk et uttrykk som begynner å få ganske bra fotfeste, jeg synes ikke det høres merkelig ut lengre.

 

EDIT: For de som er interessert i å vite mer om Sea bed logging er det en fin artikkel fra grunderne her:

http://www.emgs.com/_assets/documents/Seab..._for_remote.pdf

Endret 14. august 2007 av Del