"Endelig backup" av større mengder

[fleric]

Jobber i en mediebedrift. Vi produserer i dag mellom 1-2 TB med lyd- og bildedata årlig. Den daglige backup består av en speilserver, og etter hvert som prosjekter blir ferdigstilt kjører vi materiale ut på Tandberg SLR50/100 taper (praktisk lagringskapasitet på 50-60GB). Tapene koster 6-700,-/stk. og vi fyller ca. 16-20 i året. Trenger vi å hente opp prosjekter er det selvfølgelig bare å restore fra tape. Har begynt å tenke tankene på ha gjøre backup på harddisker istedenfor. Økonomisk en enorm besparelse, men harddisker kjennetegnes vel ikke akkurat som det beste langtidslangringsmediet. Vi må minimum ha backup tilgjengelig 15-20 år bakover i tid, men selvfølgelig ønskelig å ha en "for alltid". Er også litt redd for at Tandberg stasjonen en vakker dag tar kvelden og kanskje ikke så lett å få tak i kompatibel spiller, og sannsynligvis ganske dyr.

 

Scenario er altså langtidslagring av ca. 1,5TB/år.

 

Kanskje på viddene her, men har skissert en mulig løsning:

 

2 like servere speilet med litt ulik hardware (for å unngå samme feil over tid). Begge to bestående av ex. 16x1TB i RAID6. .eks. Da har vi lagring for ca. 10 år fremover. Innen den tid har diskene kanskje blitt 2-3 TB og vi bytter alle disker og kapasitet utvidet til å kunne fortsette 10-15 år til. Dette er ikke servere man jobber i mot så trenger ikke enorm ytelse. Kjapt regnestykke og hver server trenger ikke koste mer enn ca. 30k/stk, totalt 60k. De siste 7 årene har vi brukt ca. 75k på taper. Vi har da løsning som gjør at vi enkelt kan hente opp hvilket som helst gammelt prosjekt på sekundet.

 

Pros:

- Kjapt kunne hente hvilket som helst gammelt prosjekt på sekundet

- Besparelse i tid brukt på å håndtere tapebackup

- Besparelse i tid brukt på å restore gamle backuper

- Speilserver kan plasseres på annen adresse og vi har enn 100% sikker løsning.

 

Cons:

- Sikkerhet over tid ?

- Sikkerhet ved innbrudd/brann. Dagens taper ligger i låst brannsikker safe

- Finnes det grense på hvor mange filer et Raid kan håndtere. Snakk om ca. 2mill filer pr. år?

- Kan dataene på harddisker avmagnatiseres over tid. Vil jo typsik være lite utskifting av date på disse raidene.

 

 

Forslag til annen løsning?

Endret 2. april 2008 av fleric

[CrZy_T]

Av driftsmessige årsaker ville jeg ikke satset på å lage egne servere. http://www.openstorage.com/ har noen fine maskiner til dette bruket (men du må nok ut med litt mer enn 30k/stk). Jeg ville heller ikke bygget noe nå som skal vare i 10 år. Disker dør, hardware dør... Selv om du bruker 75k på taper over 7 år, vil jeg tro du kommer til å bruke mer på hardware og service av denne.

 

Hva slags taper er det dere har brukt? Dersom det er f.eks LTO-kassetter så er disse ofte støttet i nyere versjoner. Dagens LTO-4 streamere klarer å lese LTO-2 taper og klarer å lese og skrive til LTO-3. Taper koster normalt det samme, så ved å bytte ut streamern så vil du kunne lagre 1.8-1.9TB på en tape til under 1k.

 

Personlig ville jeg nok gått på en løsning midt i mellom, dvs en stor filserver som har dataene tilgjenglig (og stor nok plass til å hente inn igjen fra gamle taper) og en ny streamer. Du vil ha høyere sikkerhet enn idag (siden du er buttf%¤#ed hvis en tape går i stykker), samt lettere tilgang. Det koster litt mer i innkjøp (med ny streamer), men det vil nok jevne seg ut med mindre vedlikehold.

[Lock-Aze]

Enig med CrZy_T server skifter hw MYE oftere enn tapestasjoner og de er ikke tiltenkt at de skal vare lengre enn 5-15år, så ikke i nærheten av den livslengden du er ute etter... Det blir fort dyrt med servere, så selv om taper i utgangspunktet ser dyrere ut, så vil de på sikt spare seg inn

[Fungus]

det å kjøre 2 servere på 1 tjeneste, forbinder jeg med HØYE krav til oppetid (les clustering) ..

Når det gjelder backup, til disk, så er dette spesiellt i medie bedrifter, blitt veeeldig fristende pga lave hdd priser nå om dagene. Men, dette er ikke backup, hverken før eller nå. Utenom visst vi snakker "very small business" eller hjemmenettverk.

 

Skaff deg en filserver, helst av annerkjent merke som HP, IBM også videre. og kjøp deg ett tape system som funker. Som nevnt over her, LTO teknologien er bakoverkompatibel i alle generasjoner, omtrent,. og det samme er DLT teknologien.

 

i GOD tid før en teknologi blir faset ut, så tror jeg nok du får vite om det, og da kjøper du en nye streamer, eller bibliotek, også setter du av en uke til å spole over alle gamle backup taper, på nye taper i nytt format, antagelig minst i forholdet 5:1

 

1.5TB er ikke så mye, så kjør gjerne ut dobbelt. Altså 2 taper, lagret på 2 forskjellige lokasjoner av halvårs og års backup., da skal du være godt sikret vil jeg tro.

[deviant]

Backup to disk er noe som blir stadig vanligere, og jeg kan ikke se at argumentasjon om at dette "ikke er backup" holder mål.

 

Fordelene er åpenbare; Redusert kostnad og økt fleksibilitet og tilgjengelighet. Det er ikke større feilrate på en diskløsning enn på LTO-tape.

 

Mange selskaper velger å kombinere lokal backup to disk med tape-løsning for arkivering, langtidsbackup og offsite-backup - men også på disse tingene blir backup to disk stadig vanligere.

 

Noen ting som er viktige å tenke på i denne sammenhengen kan være;

 

* Det må ikke være mulig å slette data fra backupområdene direkte.

* Backup serveren må beskyttes tilsvarende produksjon, med tanke på dataredundans og tilgjengelighet.

* En lokal backup to disk erstatter ikke offsite backup og arkivering.

 

En lavkost løsning kan være en vanlig redundant server med lagring i RAID 6. Backupserveren kjører Linux, og benytter en kombinasjon av rsync, svn og samba for backup og restore. Dette konfigureres til ønsket dataredundans og recovery vindu - og altså uten at klienten kan slette data fra backupområdene.

 

Jeg får understreke at det her ikke er snakk om en speilet løsning eller failover hvor "backupserver" er tiltenkt produksjonsoppgaver i feilsituasjon, men heller en dedikert server for backup to disk.

 

Når datamengdene er små kan kan dette enkelt kombineres med synkronsiering til en ekstern datalagringspartner, f.eks. Amazon eller EDB ASA. Lokal kryptering (encfs) av backupsett før overføring (rsync) og lagring eksternt gjør dette til en sikker, rimelig og fleksibel løsning.

 

Det finnes et utall av variasjoner rundt dette temaet, og mange leverandører har ferdige blackboxløsninger som kan integreres med tape, redundansreduksjon, remote backup og arkivløsninger. Tilsvarende tilbys backup to disk i samtlige større backupløsninger inkludert Tivoli Storage Manager, Veritas NetBackup og Legato Networker. Dette gjelder også noen av de mindre løsningene som Veritas Backup Exec.

Endret 8. april 2008 av deviant

[CrZy_T]

Backup to disk er noe som blir stadig vanligere, og jeg kan ikke se at argumentasjon om at dette "ikke er backup" holder mål.

 

Fordelene er åpenbare; Redusert kostnad og økt fleksibilitet og tilgjengelighet. Det er ikke større feilrate på en diskløsning enn på LTO-tape.

 

Mange selskaper velger å kombinere lokal backup to disk med tape-løsning for arkivering, langtidsbackup og offsite-backup - men også på disse tingene blir backup to disk stadig vanligere.

 

Hvis du leser første tråd, så vil de slette dataene fra hovedmaskinen i det de har tatt "backup". Ved å kjøre backup til disk på en maskin vil man har svakere sikkerhet enn det man har idag. Sjansen for at et array tryner, en diskfeil går uoppdaget eller flere diskfeil oppstår samtidig er mye større enn at en tape går i stykker (ref behandlingen den får i bedriften idag).

[deviant]

Hvis du leser første tråd, så vil de slette dataene fra hovedmaskinen i det de har tatt "backup". Ved å kjøre backup til disk på en maskin vil man har svakere sikkerhet enn det man har idag. Sjansen for at et array tryner, en diskfeil går uoppdaget eller flere diskfeil oppstår samtidig er mye større enn at en tape går i stykker (ref behandlingen den får i bedriften idag).

 

Her må man skille på arkivløsning og backupløsning. Det håper jeg kommer rimelig klart frem i innlegget mitt. Det er selvsagt ingen gangbar praksis å fjerne viktig data fra produksjon uten at både arkivkopi og reservekopi er på plass - helt uavhengig av lagringsmedium.

 

I forhold til diskfeil vs tapefeil er muligheten til stede på begge plattformer, men sjansen er nok større for å oppdage feil på aktivt array og filsystem, enn på en tape som ligger til lagring. Avhengig av ønsket redundansnivå vil man sørge for at flere reservekopier eksisterer enten man lagrer på tape eller plater.

 

I min foretrukne løsning har man minst tre kopier av kritiske data, etter at backup er kjørt.

 

- produksjon (disk) eller arkiv (disk/tape/optisk)

- lokal backup (disk eller tape)

- offsite backup (disk eller tape)

Endret 8. april 2008 av deviant

[tyldum]

Som ren lagring er nok budsjettløsninger greie. Her kan man bygge redundans ganske rimelig også.

ATA over Ethernet slår meg som et rimelig alternativ å bygge dette opp.

Åpne protokoller vil nok være viktig med tanke på levetiden på dataene.

[fleric]

Takk for mange gode tips!

 

Det jeg tror vi ender på da er at ferdige prosjekter kjøres ut på LTO taper og samtidig kopieres til 16TB filserver. Taper lagres på annen lokasjon. Er vi heldige holder filserveren i 8-10 år og vi bytter med en ny som sikkert enkelt kan ha ~50TB med plass. Se ann LTO-systmet, men muligens etter 10-12 år kopiere gamle taper over på LTO-8 eller 9 eller hva som finnes da. Da har vi rask access til alle gamle prosjekter samtidig som vi har "backup" på tape.

[CrZy_T]

Takk for mange gode tips!

 

Det jeg tror vi ender på da er at ferdige prosjekter kjøres ut på LTO taper og samtidig kopieres til 16TB filserver. Taper lagres på annen lokasjon. Er vi heldige holder filserveren i 8-10 år og vi bytter med en ny som sikkert enkelt kan ha ~50TB med plass. Se ann LTO-systmet, men muligens etter 10-12 år kopiere gamle taper over på LTO-8 eller 9 eller hva som finnes da. Da har vi rask access til alle gamle prosjekter samtidig som vi har "backup" på tape.

 

Bare vær obs på at i et såpass langt perspektiv, så er det ikke umulig at ny tapestreamer vil lønne seg allerede idag(taper koster som regel ~det samme uansett om de tar 20GB eller 2TB). Jeg sjekka priser på streamer for moro skyld her for leden og du trenger ikke gå langt over 10-15k for å få en helt ny en. Da kan du regne med at du får 20 gamler taper inn på 1 ny tape. Det vil si at du vil gå fra 16-20 (12-14.000) til 1 tape (1000,-) i året. Med det regnestykket vil den nye streamern ha tjent seg inn igjen i løpet av ca. 1 - 1 1/2 år. Tar du med investeringen av tape (og ikke tid) for å kjøre over gamle taper på nye taper så kan du kanskje legge på et 1/2år til i innsparingsperioden (evnt bare sitte med 2 streamere i maskinen).

 

Om 8-10år så er det nok ikke 50TB som vil være det økonomiske på filservere, tipper vi ser 50TB som normalt i den størrelsen her i løpet av 4-5 år.

[fleric]

Ja, mente selvfølgelig å kjøpe LTO-streamer i dag (har Tandberg DLT i dag). Med vårt lagringsbehov, snakker vi jo ikke mer enn 2-3 taper pr.år.

 

og 100TB om 8-9 år er jo enda bedre.