Ny stor klynge til Norge

[Anders Jensen]

Spanning over 6-7k noder er genialt. En times tid for softwaren å finne ut hvor dataene ble lagret før en kan begynne den langsomme jobben å hente de frem, forutsatt at en var så heldig at ingen av de aktuelle nodene var korrupt. At en klarer å utnytte regnekapasiteten fullt ut i Cell er vel også heller tvilsomt, pluss at du må dele på 10 for å få teoretisk max DP flops. Det er tross alt en god grunn til at veldig få bruker Cell til HPC, men noen er det og de blir nok flere med tiden. Tror imidlertid IBM sin blade løsning blir mer populær.

[iDude]

Noen som har flere tekniske detaljer å komme med? Hva slags operativsystem(er) skal snurre på dette, f.eks.?

9445815[/snapback]

Regner med at det blir alt utenom vista. Bladeservere pleier jo ha VMware i bunn og bruke virtualisering til diverse linuxdistroer. Tipper redhat vil bli brukt endel og sikkert noen ws2k3 og utprøving av ws2k8

9445904[/snapback]

Tviler sterkt på at Tromsø vil forsøke å være blant pionerene innen kombinasjonen tungregning og windows

 

Tipper linux all the way

[ArneJ.]

Noen flere detaljer: For Universitetet i Tromsø er dette et resultat av en langsiktig og strategisk satsing på modellering og simulering som den tredje vei til forskning”, sier IT-direktør Magnar Antonsen ved UiTø, ”All statistikk viser at forskere som benytter seg av denne type anlegg er mer produktive og kommer hurtigere ut med sin forskning i konkurranse med store internasjonale miljøer. Det er derfor viktig at et lite universitet som UiTø kan ligge i tet når slike verktøy skal installeres. Med den nye maskinen vil hele forskningsmiljøet i Tromsø for en periode fremover ha det aller beste tilbudet både nasjonalt og internasjonalt.”

 

 

Hvor høyt oppe på lista over verdens kraftigste maskiner det nye anlegget vil komme ønsker ikke Antonsen å spekulere i. ”Vi har tradisjonelt ikke vært spesielt interessert i slike kåringer, men regner med at vi snakker om et av verdens 50 kraftigste anlegg. Den er til sammenlikning 3 ganger kraftigere enn de største maskinene i Sverige og Finland i dag til sammen.”

 

 

Den nye maskinen er resultatet av et samarbeid mellom UiTø og UNINETT Sigma, selskapet som koordinerer investeringer i den nasjonale infrastrukturen for beregningsorientert vitenskap. I alt var det 7 leverandører som kjempet om kontrakten, men HP utmerket seg på de fleste punktene. Deres tilbud var ikke bare størst i volum og ytelse, men serverteknologien basert på maskinblad gir også gode utvidelsesmuligheter i fremtiden. Totalt blir maskinen å få 5632 Intel prosessorkjerner og over 12 Terabyte med internminne. Totalt lagringsvolum blir på godt over 200 Terabyte.

Daglig leder i UNINETT Sigma, Jacko Koster skal sikre at beregningsbehovene til alle de norske forskningsmiljøene ivaretas på beste måte. Han sier seg svært fornøyd med prosessen rundt anskaffelsen. ”Dette representerer en vesentlig økning av den totale beregningskapasiteten for norsk forskning. Teknologien supplerer også de andre ressursene i den nasjonale infrastrukturen for beregningsorientert vitenskap på en god måte.”

 

 

Det nye anlegget vil bli spesielt rettet mot behov innen teoretisk og beregningorientert kjemi, et område der UiTø nettopp har fått tildelt et Senter for fremragende forskning. Anlegget vil gi norske forskere innenfor dette området et fortrinn og kan med det bidra både til å hjelpe klimaforskere og til å sette fart i utviklinga av nye medisiner. For UiTø vil maskinen bidra til økt kunnskap og forskningsproduksjon, samt gi Universitetet økt synlighet og bedre vilkår i rekrutteringen av nye studenter og ansatte til de beregningsorienterte fagene

 

Specs: Faktaboks per beregningsnode:

 

-----------------------------------------------------------------------------------

Maskintype (node) Maskinblad HP BL 460c

Prosessorer 2

 

Prosessorertype Intel Xeon 2,66GHz

Kjerneteknologi 4-kjerne

Teoretisk ytelse per maskin 85,12 Gigaflop/s

Internminne per maskin 16 GB (50 maskiner med 32GB)

Internlager (disk) per maskin 120 Gigabyte

Nettverk

 

Gigabit Ethernet

+ 384 maskiner med Infiniband

 

----------------------------------------------------------------------------------

Totalt for hele anlegget:

 

Totalt antall beregningsskap 11

Totalt antall infrastrukturskap 2

Totalt antall lagringsskap

4

 

Totalt antall beregningnoder 704

Totalt antall beregningskjerner 5632

Totalt internminne 12 Terabyte

Total internlager (disk) 84 Terabyte

Total sentrallager (disk) 128 Terabyte

Teoretisk ytelse 60 Teraflop/s

Fysiske mål 15m x 1,3m x 2m (b x d x h)

Vekt 16 000 kg

-----------------------------------------------------------------------------

[amiganostalgia]

Har lest igjennom tråden nå og kan ikke se at noen har spurt det opplagte spørsmålet :

 

Vil systemet bli overklokket? Selv 1% hadde jo gitt enda mer verdi for penga =)

[Zerd]

Tror ikke det du. De bruker nok strøm som det er. Og så trenger de ekstra kjøling.

[Gryteknut]

Støtter skjermkortet DirectX 10 ?

[asicman]

når man kjører i parallel går det aldri fortere enn den tregeste prosessen, så hvis deler av systemet er dårlig speccet sliter hele når man vil kjøre en massiv applikasjon.

9446206[/snapback]

 

Det er jo avhengig av software. Det er mer komplekst, men man kan fordele task/tråder slik at man kompenserer for dette.

 

Noen nevnte Infiniband. Er det noe mer informasjon om interconnect og switch-fabric som er brukt på dette systemet?

[amiganostalgia]

Tror ikke det du. De bruker nok strøm som det er. Og så trenger de ekstra kjøling.

9452432[/snapback]

 

Vel motstykket til overklokker er vel såkalt under volting, altså sette cpu til å kjøre med lavere volt enn standard, men standard fsb/multi etc. Men tviler selv på at de vil gjøre noe slikt, men potensialet er nok rimelig stort for å spare strøm/forlenge levetid på systemet(som går motsatt vei med overklokking).

[TiduZ]

Har lest igjennom tråden nå og kan ikke se at noen har spurt det opplagte spørsmålet :

 

Vil systemet bli overklokket? Selv 1% hadde jo gitt enda mer verdi for penga =)

9452087[/snapback]

 

Når det gjelder servere av denne størrelsen, (og egentlig skjenerelt) er oppetid og stabilitet viktigere en rå ytelse. Derfor er overklokking "nei nei" i en slik sammenheng, Selv om jeg må være enig i at det hadde vært veldig rått!

[Gunder1]

@Gunder1: Hva gjorde du der?

9446114[/snapback]

 

Jobber på SAP support der, vi fikk en omvisning

[Frysning]

Jeg tok meg selv i å fnise som en liten skolejente når jeg leste dette.

 

[simmyt]

Det er jo avhengig av software. Det er mer komplekst, men man kan fordele task/tråder slik at man kompenserer for dette.

9457096[/snapback]

 

hvis du snakker om statisk lastbalansering, nesten, men dynamisk nei. har du en treg ikke homogen interconnect vil dette gjøre deg handicapped i omtrent alle interessante tilfeller bortsett fra embarrasingly parallel, som er en uhyre liten nisje. å skalere

massivt på tusenvis av prosessorer gjør en applikasjon særdeles sårbar for tregheter

av enhver sort, du tåler rett og slett ikke overheaden som følger med en dynamisk lastbalansering.

men du kjøper selfølgelig ikke et switchet cluster som dette hvis du trenger å kjøre applikasjoner på noe særlig mer enn 100 prosessorer, da gjør du nok heller som NTNU eller UiB og skaffer en skikkelig interconnect.

[genstian]

Hva gjør de med de gamle maskinene? Trenger ny server.

[Simen1]

Hva gjør de med de gamle maskinene? Trenger ny server.

9463570[/snapback]

Denne kommer nok i tillegg til de gamle. Jeg regner med at de eldste maskinene blir stående som "avlastingsmaskiner" inntil driftskostnaden blir for stor i forhold til ytelsen. Dvs. til de er omtrent 5-6 år gamle. Da blir de nok levert inn til HP/Dell/Sun etc gjennom rabattavtaler på innkjøp.

[Ole-P]

Hjemmesiden til tungregnings-gruppa ligger her, hvis noen trenger mer info:

http://docs.notur.no/uit

[Del]

De har faktisk valgt Clovertown til tungregning, og fyllt opp alle minneslottene. Er det noen som kjenner til beslutningprosessen som lå bak dette valget? Er det i det hele tatt gjort noen reell vurdring av ytelse pr. watt i bruk utover teoretiske flops?

[Simen1]

Jeg vet ikke om UIT har gjort noen analyse på det før innkjøpet, men jeg merker meg at TU setter fokus på tungregning og energibruk:

 

Teknisk Ukeblad: Kampen mot dataenergisløsing

 

De har blant annet noen interessante tall:

I dag bruker datasentrene i Europa mellom 1 og 1,2 prosent av landenes strømproduksjon, og det blir verre etter hvert som stadig flere selskaper fyller på med utstyr på IT-rommet.

Paradokset er at det trengs mer energi til å kjøle datasentre enn til å drive utstyret i dem.

Flytt ansvaret

– Kanskje det viktigste en bedrift kan gjøre for å få kontroll med energiforbruket på IT-siden er å la IT-sjefen få ansvaret for strømregningen. Det viser seg at opptil 80 prosent av IT-sjefer ikke har noen formening om strømforbruket. Det er andre som betaler likevel, sier Paul Perez, viseadm. direktør for skalerbar datasenter-infrastruktur i HP.