Google slipper diskfeilanalyse

[kilogram]

I en studie utført av Google på over 100 000 harddisker i Googles serverpark, har selskapet funnet ut at overvåkning basert på SMART ikke er godt nok.

Les mer

[tore-]

Jeg er imponert egentlig over at SMART har så lite å si, men det som overrasket meg litt var:

 

 

After the first scan error, drives are 39 times

more likely to fail within 60 days than drives without

scan errors.

 

Det er jo noe som er greit å ta med seg.

[Simen1]

Spennende å se at myten om at temperatur er en viktig årsak til diskkræsj blir analysert skikkelig. Særlig spennende er det å se at diskene med temperaturer under 30'C er betydelig mer utsatt for kræsj enn disker i området 30-45'C.

 

De 3 første årene ser det ut til at temperaturer under 30'C gir høyest sansynlighet for kræsj, mens temperaturer på over 40'C gir høyest sansynlighet for kræsj på disker som er akkurat 3 år (men ikke så mye på de som er 4 år). Det tyder veldig på at det må ha været en eller flere disk-serier som var kjøpt inn for 3 år siden som kræsjet oftere enn disk-serier fra året før. Jeg tør ikke tippe merke her for da får jeg vel en fan-skare på nakken

 

Ellers er jeg litt overrasket over at den årlige feilraten ofte er så høy som 2-4% under så kontrollerte betingelser som i googles server-farmer. Da kan man jo tenke seg til at feilraten for hjemmebrukere må være en del høyere. (PCer som velter, eksterne harddisker som ramler i gulvet, bærbare PCer som behandles alt for dårlig osv.

[alaruz]

Skremmende. Kjører OSet på en 3 år gammel spinpoint. Den fusker av gårde enda. Men den har gitt meg symtoner. Mulig jeg burde skiftet den ut før det er for sent

[G]

I en studie utført av Google på over 100 000 harddisker i Googles serverpark, har selskapet funnet ut at overvåkning basert på SMART ikke er godt nok.

 

Les mer

7976145[/snapback]

Fantastisk bra av Google å dele sine erfaringer med hele verden.

[magnemoe]

Spennende å se at myten om at temperatur er en viktig årsak til diskkræsj blir analysert skikkelig. Særlig spennende er det å se at diskene med temperaturer under 30'C er betydelig mer utsatt for kræsj enn disker i området 30-45'C.

 

De 3 første årene ser det ut til at temperaturer under 30'C gir høyest sansynlighet for kræsj, mens temperaturer på over 40'C gir høyest sansynlighet for kræsj på disker som er akkurat 3 år (men ikke så mye på de som er 4 år). Det tyder veldig på at det må ha været en eller flere disk-serier som var kjøpt inn for 3 år siden som kræsjet oftere enn disk-serier fra året før. Jeg tør ikke tippe merke her for da får jeg vel en fan-skare på nakken

 

Ellers er jeg litt overrasket over at den årlige feilraten ofte er så høy som 2-4% under så kontrollerte betingelser som i googles server-farmer. Da kan man jo tenke seg til at feilraten for hjemmebrukere må være en del høyere. (PCer som velter, eksterne harddisker som ramler i gulvet, bærbare PCer som behandles alt for dårlig osv.

7976268[/snapback]

 

Jup denne er spennnende, lurer mest på hvorfor disker under 30 grader er mer utsatt for kræsj, trodde først det var pga at dette var gamle, små, lite brukte disker eller lignende, men utfra det du sier virker det som om de kan ha en serie disker som kjører kjølig men har mer problemer, evt at denne serien er gammel og da får mere feil.

 

Men det viser at 40-45 grader ikke er skadelig for en disk, det er det viktigste her.

samt det at en disk med scann errors er 39 ganger mer utsatt for feil

[Hellemyr]

Lurer nesten litt på hvor stor serverparken til Google er, på hvor mage gig.

[Kurume]

Hvordan finner en ut om man har scan error? Kan ikke se det som en verdi i SMART.

[Howard B]

Godt å høre. Jeg har gitt opp SMART for lenge siden.

[Simen1]

Men det viser at 40-45 grader ikke er skadelig for en disk, det er det viktigste her. <...>

7976669[/snapback]

Videre er det et veldig lite statistisk materiale over 45'C slik at den statistiske nøyaktigheten blir lav. Men usikkerheten tatt i betraktning så ser det ikke ut til at 50'C er noe værre enn f.eks 30'C. Det hadde vært spennende å se tall for over 50'C også.

 

Lurer nesten litt på hvor stor serverparken til Google er, på hvor mage gig.

7976796[/snapback]

Tja, diskene deres er i følge artikkelen på 80 - 400 GB så hvis vi kjapt antar 200GB i gjennomsnitt på 100.000 disker (selv om det sto over 100.000 disker) så kommer vi opp i 20.000 TB. Selv om det ikke er fullstendig nøyaktig gir det en viss indikasjon i hvert fall.

[Langbein]

Ellers er jeg litt overrasket over at den årlige feilraten ofte er så høy som 2-4% under så kontrollerte betingelser som i googles server-farmer. Da kan man jo tenke seg til at feilraten for hjemmebrukere må være en del høyere. (PCer som velter, eksterne harddisker som ramler i gulvet, bærbare PCer som behandles alt for dårlig osv.

Jeg er helt klart bekymret på vegne av alle de som bare har 1 disk, ingen backupløsninger, og har lagret hele familiens digitale fotoer gjennom en årrekke på Elkjøp-PCen sin

 

Men når det er sagt, har jeg hatt usedvanlig få problemer med alle diskene jeg har brukt de siste 10+ årene. Ikke en eneste disk har tatt fullstendig kvelden, men et par har "fuska" litt. De var uansett så gamle at de ville bli kastet uansett (lite vist med en 1GB disk i en PC nå for tida )

 

Google har vel også alle diskene i servere som står på 24/7, noe som ikke er helt vanlig ute hos hvermansen, hvor en PC kanskje bare står på noen timer i løpet av en dag.

 

Men når det gjelder HØYERE feilrate under 30C, skjønner jeg lite. Jeg har hvertfall alltid prøvd å holde disktempen lav, uten å bli fanatisk av den grunn. Men jeg pleier å ha en vifte eller to framme i kabinettet, som sørger for relativt lav temp.

 

 

BTW, Hva slags programmer bruker dere for å sjekke SMART verdier? Ser nemlig at enkelte programmer bare funker på IDE, og ikke SATA/RAID.

[TiduZ]

Hehe litt morsomt dette.. Har en hjemmeserver som kjører OS'et på en snart 8 år gammel IBM fireball, den har aldri fusket! Nå kan det legges med at denne serveren har vært basert på gammle disker, og iløpet av 2006 røk det hele 5 gammle disker..

[qualbeen]

Google slipper diskfeilanalyse

Følge meg faktisk litt lurt - trodde det var snakk om et harddiskanalyse-verktøy som var utgitt fra Google..

 

Men artig lesing lell! Noen som har lyst til å fortelle hvordan man kan få ut SMART-data fra harddiskene på WinXP? (Tror hdd mine støtter SMART, men er ikke 100% sikker)

[Babelfisken]

Spennende å se at myten om at temperatur er en viktig årsak til diskkræsj blir analysert skikkelig. Særlig spennende er det å se at diskene med temperaturer under 30'C er betydelig mer utsatt for kræsj enn disker i området 30-45'C.

 

De 3 første årene ser det ut til at temperaturer under 30'C gir høyest sansynlighet for kræsj, mens temperaturer på over 40'C gir høyest sansynlighet for kræsj på disker som er akkurat 3 år (men ikke så mye på de som er 4 år). Det tyder veldig på at det må ha været en eller flere disk-serier som var kjøpt inn for 3 år siden som kræsjet oftere enn disk-serier fra året før. Jeg tør ikke tippe merke her for da får jeg vel en fan-skare på nakken

 

Ellers er jeg litt overrasket over at den årlige feilraten ofte er så høy som 2-4% under så kontrollerte betingelser som i googles server-farmer. Da kan man jo tenke seg til at feilraten for hjemmebrukere må være en del høyere. (PCer som velter, eksterne harddisker som ramler i gulvet, bærbare PCer som behandles alt for dårlig osv.

7976268[/snapback]

 

Jup denne er spennnende, lurer mest på hvorfor disker under 30 grader er mer utsatt for kræsj, trodde først det var pga at dette var gamle, små, lite brukte disker eller lignende, men utfra det du sier virker det som om de kan ha en serie disker som kjører kjølig men har mer problemer, evt at denne serien er gammel og da får mere feil.

 

Men det viser at 40-45 grader ikke er skadelig for en disk, det er det viktigste her.

samt det at en disk med scann errors er 39 ganger mer utsatt for feil

7976669[/snapback]

 

Jeg tipper at de fleste disker er designet for en ideal driftstemperatur i området 30-40 grader. De kan gå og er godkjennt for et større temperaturområde men klaringer er så små at det blir mer forstyrelser og friksjon ved andre temeratrurer.

 

Se på en forbrenningsmotor, ingen med et minimum av kunnskap ruser de til max turtall når de er kalde. Tipper det samme til en viss grad gjelder disker.

[Jigsaw V]

Tja, min HDD ligger på ca 20c middelverdi...

 

Maks 26c har jeg en graf på....

[jorgis]

Lurer nesten litt på hvor stor serverparken til Google er, på hvor mage gig.

7976796[/snapback]

Tja, diskene deres er i følge artikkelen på 80 - 400 GB så hvis vi kjapt antar 200GB i gjennomsnitt på 100.000 disker (selv om det sto over 100.000 disker) så kommer vi opp i 20.000 TB. Selv om det ikke er fullstendig nøyaktig gir det en viss indikasjon i hvert fall.

7976935[/snapback]

 

Tviler på at diskene er så store som 200GB, de bruker så billig utstyr som mulig, og da går det fint med små 80-gigabytere. Så sent som i 2005 (og trolig fremdeles) kjører det meste på P2 og P3-maskiner, rett og slett fordi de gir best ytelse/strømforbruk-faktor. Ytelse per maskin er irrelevant for Google.

 

Et anslag fra 2004 anslår mengden diksplass til mellom 2.5 og 6.1 petabyte (tusen terabyte), mens wikipedia (med tall fra 2005, 2004 og 2003) anslår det å være minst 450 000 med en eller flere 80GB-disker per maskin. Tar en et konservativt snitt på 120GB, ender en opp med 54 petabyte.

[Simen1]

Jeg tok bare infoen fra artikkelen:

Googles serverpark består av disker fra 80 til 400GB, med rotasjonshastigheter på 5400RPM og 7200RPM.

 

Pentium II og III er vel litt overdrevet. De gir jo langt i fra noe god ytelse/watt rett og slett fordi ytelsen er elendig sammenlignet med low-end Sempron og Celeron som utvikler omtrent like mye varme. Dessuten er ikke google noe særlig gammelt selskap. På den tiden Pentium II var populært var vel ikke google startet en gang. (Jeg har ikke sjekket årstall ennå)

[jorgis]

Pentium II og III er vel litt overdrevet. De gir jo langt i fra noe god ytelse/watt rett og slett fordi ytelsen er elendig sammenlignet med low-end Sempron og Celeron som utvikler omtrent like mye varme. Dessuten er ikke google noe særlig gammelt selskap. På den tiden Pentium II var populært var vel ikke google startet en gang. (Jeg har ikke sjekket årstall ennå)

7980660[/snapback]

 

Jeg tok bare infoen fra Wikipedia-artikkelen om emnet, som igjen siterer en annen artikkel. Står at hardwaren (anno 2005) går fra 533MHz Celeron (pentium II-basert?) til dual 1.4GHz Pentium III. Vet ikke om dette er hardware som kjøpes brukt, og dermed ekstra billig, om de kjøper restlagre eller hva de gjør, men du skal ikke gå særlig langt tilbake før det ikke var uvanlig med PIII i billige servere.

[w00pla]

En annen sak er at man i slike systemer gjerne ønsker å bruke utstyr som har vært i bruk en stund, da gjelder dette særlig mikroprossesorer. Grunnen er at man ved å benytte "foreldet" maskinvare vet at de holder til det de skal. Det er ikke uten grunn at det finnes utrolig mange pentium 1 prossessorer ute i verdensrommet - forutsigbarhet er viktig.

 

Når det er sagt stusser nå jeg også på om google bruker så tregt utstyr som her foreslått. Når man tenker på den store datatrafikken som googles serverparker har til daglig synes jeg det virker som en flaskehals med så lite prossesseringskapasitet som her foreslått, spesielt med tanke på utnytting av s-ata og p-ata 133 standardene.

 

Har uansett ingen planer om mer synsing angående dette

[nebrewfoz]

En annen sak er at man i slike systemer gjerne ønsker å bruke utstyr som har vært i bruk en stund, da gjelder dette særlig mikroprossesorer. Grunnen er at man ved å benytte "foreldet" maskinvare vet at de holder til det de skal. Det er ikke uten grunn at det finnes utrolig mange pentium 1 prossessorer ute i verdensrommet - forutsigbarhet er viktig.

7983474[/snapback]

Hovedgrunnen til at det brukes "gammel elektronikk" i verdensrommet er at den må tåle store strålingsdoser uten å feile. Jo mindre dimensjonene på ledningsbaner og aktive elementer (transistorer) blir, jo mindre skal det til for å flippe dem ut. En 1'er blir fort en 0, og motsatt. (Det finnes mange feilmekanismer.) Totalt ubrukelige resultater blir følgene, om ikke CPU'en stopper helt.

 

Så man foretrekker CPU'er som er litt mer "grovgjorte", og man produserer og behandler dem gjerne i tillegg på ymse måter for å gjøre dem Radiation Hardened (RadHard).