IBM bygger verdens største lagringsløsning

[AfterGlow]

Har plass til 24 milliarder MP3-er.

 

IBM bygger verdens største lagringsløsning

[oslo72]

Hadde jo tatt vesentlig mindre plass med 40000 harddisker på 3TB, men det er vel et kostnad-/ytelsesspørsmål.

Noen som vet nærmere om hvem som har gitt oppdraget?

 

EDIT: Fra nettet:

I'm pretty sure a 5 year old can put two and two together and crack this "mystery". The client is Lockheed Martin. Why? Lockheed Martin just recently contracted D-Wave Systems to build the world's first 128 qubit quantum computer. A quantum computer of this magnitude will need enormous data storage capabilities. There are multiple purposes for this, but its primary purpose will probably be the NGI (Next Generation Identification) for the FBI, CIA, et al. They also teamed up with Lockheed Martin for a Census contract called the Decennial Response Integration System (DRIS) 2010 data collection contract. All of this combined basically means that for "security" reasons every American will be cataloged. All the data will be available on a new cloud computing network for the Fed's called the Federal Community Cloud. The roots of this was back when Google developed image recognition software for the first D-Wave supercomputer. That was to identify cars in images. This algorithm could easily be adapted to human biometric data.

Endret 29. august 2011 av oslo72

[Simen1]

Hadde jo tatt vesentlig mindre plass med 40000 harddisker på 3TB, men det er vel et kostnad-/ytelsesspørsmål.

.. med null redundans ja. Regn med at dette lagringssystemet har rimelig god redundans.

 

Det hadde vært interessant å se hvordan systemet var bygd opp av Raid-nivåer, speilinger eller tilsvarende teknikker på filsystemnivå. Hvilket filsystem skal benyttes? ZFS?

 

Redigert: 200 000 stk er en del. Bestilles de på europaller, uten noe beskyttelse i mellom, stablet 1 meter på hver palle så blir det totalt 81 paller eller omtrent to fulle semitrailere lastet med ca 60 tonn hver.

Endret 29. august 2011 av Simen1

[oslo72]

Markedsføringsmessig så regner jeg med at 120 petabytes er total diskmengde, ikke nødvendigvis hva man kan lagre.

[Anders Jensen]

Hadde jo tatt vesentlig mindre plass med 40000 harddisker på 3TB, men det er vel et kostnad-/ytelsesspørsmål.

.. med null redundans ja. Regn med at dette lagringssystemet har rimelig god redundans.

 

Det hadde vært interessant å se hvordan systemet var bygd opp av Raid-nivåer, speilinger eller tilsvarende teknikker på filsystemnivå. Hvilket filsystem skal benyttes? ZFS?

 

Redigert: 200 000 stk er en del. Bestilles de på europaller, uten noe beskyttelse i mellom, stablet 1 meter på hver palle så blir det totalt 81 paller eller omtrent to fulle semitrailere lastet med ca 60 tonn hver.

Dette er IBM så ZFS er ute by default. ZFS er heller ikke egnet til å skalere opp på denne måten da det her er snakk om et filsystem som spenner over mange noder. ZFS er hovedsaklig for en node, men så kan en jo bruke mange av disse til f.eks å bygge et Lustre system.

 

IBM benytter her GPFS som, meg bekjent, ikke har tilsvarende funksjonalitet som RAID 5/6 slik du finner i ZFS. GPFS kan speile data og en kan selvfølgelig benytte standard interne RAID kontrollere eller andre SAN baserte lagringskontrollere for å sikre disk-redundans. Antagelig har de både speiling via GPFS og en eller flere former underliggende RAID nivå her. Det skal være støtte for heterogene clustre for å få bedre ytelse så en kan vel anta at RAID nivåene varierer deretter.

 

Jeg synes det virker litt spensitg, og noe merkelig om dette skal implementeres som ett stort filsystem. Hadde vel forventet en arkivløsing, f.eks noe i retning av Venti, som ville gjort management av denne mengden data enklere.

 

Om jeg ikke regner meg helt ut på jordet her så er det oppgitt 600GB per disk? Det er imidlertid ikke oppgitt hva slags størrelse dette representerer (med eller uten redundans, backup, DR). en kan også anta at det er varierende typer disk som benyttes.

Endret 29. august 2011 av Anders Jensen

[sikotryne]

Bare jeg som synes det er en toskete ingress ? 120 millioner gigabyte sier meg MYE mer enn 24 milliarder mp3 filer, da jeg eksempelvis har sett mp3 filer på 100 kilobyte og 50 megabyte

 

Minner meg om et Discoveryprogram som skulle illustrere vekten på et fly med å angi tilnærmet vekt i antall babyelefanter. Til alt overmål angav de heller aldri vekten i antall tonn, så hvor mye det flyet faktisk veide aner jeg ikke den dag i dag.

[oslo72]

Jeg er enig i at det er en uting at journalister hele tiden skal sette ting i perspektiv på ting som HAR en verdi. Hvis man skriver "Plasserer man 500 billioner ark oppå hverandre ville det rukket halvveis til månen" så gir det et visuelt inntrykk av hvor mange ark det er snakk om - men en GByte er en GByte og et fly er et fly.

[Xiphac]

Defragmentering vil kanskje ta en stund her...

[TarzanIUnderbuksa2]

Har plass til 24 milliarder MP3-er.

 

Regner med det er snakk om mp3-filer og ikke den fysiske mp3 spilleren?

[Gjest Slettet-Z9Cy2AAy]

Praktisk sett vil vel det bli en god del disker som feiler når man setter sammen et så stort antall. Lurer på hvor ofte disker må skiftes ut...

[Anders Jensen]

Praktisk sett vil vel det bli en god del disker som feiler når man setter sammen et så stort antall. Lurer på hvor ofte disker må skiftes ut...

Må vel regne med at det dør disker daglig. Pga. redundans er det neppe noe stort hastverk med å bytte de ut, men så store systemer har sikkert døgnbemanning uansett.