Jump to content
Sign in to follow this  
spiffers

Hva slags nettverk? Trenger veldig høy hastighet.

Recommended Posts

Problemstillingen er følgende:

 

Vi har en server med total lagringsplass på 3TB. En gang i uken skal vi ta full backup av dette, og de andre kveldene skal vi ta en incremental backup.

For å løse dette enklest mulig, har noen i en annen tråd anbefalt å ta backup fra serveren og over til en annen maskin, som står i et annet bygg.

Når man snakker om slike mengder data, blir en gigabit ethernet linje puslete. Noen sier så trunking, andre sier fiber. Jeg er grønn på dette, og håper noen her inne har peiling og kan gi noen svar.

Strekket mellom bygningene er 50 meter, og strekking av kabler/fiber er fullt mulig.

Share this post


Link to post
Problemstillingen er følgende:

 

Vi har en server med total lagringsplass på 3TB. En gang i uken skal vi ta full backup av dette, og de andre kveldene skal vi ta en incremental backup.

For å løse dette enklest mulig, har noen i en annen tråd anbefalt å ta backup fra serveren og over til en annen maskin, som står i et annet bygg.

Når man snakker om slike mengder data, blir en gigabit ethernet linje puslete. Noen sier så trunking, andre sier fiber. Jeg er grønn på dette, og håper noen her inne har peiling og kan gi noen svar.

Strekket mellom bygningene er 50 meter, og strekking av kabler/fiber er fullt mulig.

6548624[/snapback]

Kor stort backupvindu? Og kva maskinvare? Greier maskinvara fylle meir enn en Gb-link (120MB/sec kontinuerleg)? Trunk er kort sagt fleire ethernetkablar slått sammen til ein. Det krev fleire nettverkskort i begge endar, og switchar som støttar det (les: managed HP/Cisco switch).

 

Med Gb nettverk vil det ta 26214 sekund å ta backup forutsatt 100% nettytelse, så i praksis rundt 10 timar backuptid for full kopi, inkrementell vil gå ein god del raskare.

 

Sjekk hastighet fra disk på filserveren før du gjer noko meir. Kan godt tenkast der vert flaskehals.

Share this post


Link to post

Hei!

 

Morro! Hva slags backup utstyr er det du har valgt? Har akkurat blitt ferdig med et prosjekt der vi testet en hel del forskjellig. Virker som du har funnet noe som virkelig røsker så jeg er veldig spendt på å høre hva det er for noe, siden du også trenger såppas bra nett. For oss holdt det lenge med Gigabit, gode server adaptere og enorm pakkestørrelse.

Share this post


Link to post

Her kommer noen forslag til spesifikasjoner for backup-serveren:

 

- Et rommelig kabinett med 14 stk 3,5"-plasser 2000kr

- 12 stk disker a 320GB: ca 10.000kr inkludert SATA-kabler og strømoverganger

 

Diskene kan settes opp som f.eks 2 stk Raid5-array, der de to Raid5-arrayene kobles sammen med Raid0 til en sammenhengende lagringsplass på 3,2TB. Hvis man kjøper en egen disk til å kjøre OS fra kan man kjøre software-raid på dette og dermed spare betydelige summer på raid-kontrollere. En annen mulig måte å koble de sammen på er hardware raid (som vil addere en god del på prisen av Raid-kontrolleren). En tredje løsning er å ha alle 12 diskene i software Raid5 med 1 disk for paritet og en disk for "hot spare" (reservedisk som står og går hele tiden og tas i bruk så snart en annen disk ryker til å gjenoppbygge raid5-arrayet. Siden SATA støtter hot-swap er det lett å erstatte den defekte disken mens de andre står og surrer som om ingenting hadde skjedd. Den erstattede disken blir så den nye "hot spare"-disken.

 

- Hovedkort med 8 SATA-porter og 1Gbit/s LAN fra ca 1100kr

- SATA-kontroller med 4 porter fra ca 400kr

- En kraftig PSU som kan drive PCen + 12-13 harddisker. Dvs fra ca 600W og oppover. fra ca 1000kr

 

- Legg til et par tusenlapper for CPU, ram og kabinettvifter.

 

Totalpris for serveren: fra ca 16.500 kr utstyrt med redundant lagring på 3,2TB. Slett ikke dyrt til å kunne tilby såpass mye.

Share this post


Link to post

Backup-maskinen blir nok identisk med serveren.

 

Et Promise SuperTrak EX16350 16P SATA 300 PCIe 8x kontrollerkort med 7 x Seagate NL35.2 500GB SATA2 16MB 7200RPM i RAID5 skulle gi en teoretisk hastighet på inntil 800MiB/s. Jeg har ikke testet den reelle hastigheten, men ifølge diverse benchmarks på nettet ligger overføringshastigheten ikke så alt for langt unna den teoretiske hastigheten.

Tiden en backup skal ta skal ikke overskride 4 timer, så en enkel Gigabits linje holder ganske enkelt ikke mål.

Share this post


Link to post
Diskene kan settes opp som f.eks 2 stk Raid5-array, der de to Raid5-arrayene kobles sammen med Raid0 til en sammenhengende lagringsplass på 3,2TB. Hvis man kjøper en egen disk til å kjøre OS fra kan man kjøre software-raid på dette og dermed spare betydelige summer på raid-kontrollere. En annen mulig måte å koble de sammen på er hardware raid (som vil addere en god del på prisen av Raid-kontrolleren). En tredje løsning er å ha alle 12 diskene i software Raid5 med 1 disk for paritet og en disk for "hot spare" (reservedisk som står og går hele tiden og tas i bruk så snart en annen disk ryker til å gjenoppbygge raid5-arrayet. Siden SATA støtter hot-swap er det lett å erstatte den defekte disken mens de andre står og surrer som om ingenting hadde skjedd. Den erstattede disken blir så den nye "hot spare"-disken.

6549118[/snapback]

 

Jeg har lekt litt med tanken om å ha to slike Promise 16P kontrollerkort, og kjøre RAID 5 på hver av dem med 7 disker + 1 HS disk, og så sette begge RAIDsettene sammen i RAID 0 for å kjøre RAID 50. Det kan være en fin løsning på "backupmaskinen". Problemet blir da å måtte dra ut samtlige 16 disker en gang i uka for lagring (vi må ha egne backupsett for siste mnd). 4 arrays á 16 disker er ganske dyrt ;) men gir vel den ultimate sikkerheten for vårt bruk.

 

EDIT: Glemte at HS diskene ikke trenger følge med hvert array, så da blir det 6 mindre disker. Totalt kommer diskantallet opp på 58 disker, til den nette sum av kr. 137.200,-

Tror at jeg må gå litt i tenkeboksen ang rotering av diskarrays...

Edited by spiffers

Share this post


Link to post

Som nevnt tidligere er det mange faktorer som har noko og sei her.

 

-Bruket av serveren det skal ta backup av. I.e. blir den brukt mens det skal tas backup.

-Kor lang tid har du på å ta backup før serveren skal "brukes" igjen.

-Hardware på serveren.

 

Nå veit eg ikkje kor viktige dataene som er lokalisert på serveren er, men siden du planlegger å ha backup serveren stående i eit annet bygg så rekner eg med at dataene er "viktige".

 

Og i det tilfellet ville eg aldri foreslått bruk av software raid. Istedenfor ville eg foreslått raid 6 med ein standalone os disk for ekstra ytelse på raidet.

 

Men som sagt uten å vite ekstakt kor "mission critical" datane er, ytelse på den serveren dere har nå osv, er det umulig å gje eit "korrekt" svar på spørmålet.

Share this post


Link to post
Som nevnt tidligere er det mange faktorer som har noko og sei her.

 

-Bruket av serveren det skal ta backup av. I.e. blir den brukt mens det skal tas backup.

-Kor lang tid har du på å ta backup før serveren skal "brukes" igjen.

-Hardware på serveren.

 

Nå veit eg ikkje kor viktige dataene som er lokalisert på serveren er, men siden du planlegger å ha backup serveren stående i eit annet bygg så rekner eg med at dataene er "viktige".

 

Og i det tilfellet ville eg aldri foreslått bruk av software raid. Istedenfor ville eg foreslått raid 6 med ein standalone os disk for ekstra ytelse på raidet.

 

Men som sagt uten å vite ekstakt kor "mission critical" datane er, ytelse på den serveren dere har nå osv, er det umulig å gje eit "korrekt" svar på spørmålet.

6549224[/snapback]

 

Du fikk svaret litt lenger oppe på hva slags hardware vi kjører på lagringa pr idag.

Dataene vi lagrer er HD film, og skulle vi miste dataene, er vi konk.

 

EDIT: Tidsvinduet for backup er 4 timer.

 

EDIT2: Selvsagt kjører vi OS på egne disker. Det er to raptorer i RAID 0

Edited by spiffers

Share this post


Link to post

Er det teoretisk mulig å ta backup av 3,2TB innen 4 timer med tanke på diskhastighet uansett raid oppsett da? (bare lurer)

 

Trunking med Gbit nettverk burde vel gå ann? Budsjett har du egentlig?

Share this post


Link to post
Er det teoretisk mulig å ta backup av 3,2TB innen 4 timer med tanke på diskhastighet uansett raid oppsett da? (bare lurer)

 

Trunking med Gbit nettverk burde vel gå ann? Budsjett har du egentlig?

6549303[/snapback]

 

Hvis man deler den teoretiske hastigheten på 800MiB/s i to, så klarer man å lese 5,76TB i dette tidsvinduet, bare nettverket klarer å holde følge. En mulighet for å klare dette, er å ha FireWire800 med repeatere som nettverk mellom server og backupmaskin, men det er nok ganske sårbart å legge repeatere og strøm i en utendørs grøft ;) Enkleste hadde vært en kabel fra A til B.

Budsjettet for gildet er stort, sålenge man er innenfor rimelighetens grenser. Blir ikke tale om nettverksløsninger ala Telenor Backbone eller NIX ;)

 

Edit: Jeg kjenner ikke til trunking, og lesestoff på nett som omhandler trunking i Windows XP er det lite av (les: har lett på google uten hell), så det ville være greit om du/noen kunne uttdype dette litt.

Edited by spiffers

Share this post


Link to post

Det er to PCI-X 100mHz slots på hovedkortet, er ikke sikker på hva slags hastighet man kan oppnå på den bussen, er det noen som vet om man kan få utnyttet to PCI-X dual network adaptere på bussen?

Share this post


Link to post

Utifra det eg har lese så burde jo då 3-4 trunker med gigabit ethernet holde. Det blir en tusenlapp i ethernetkontrollere i kvar ende (Intel E1000 Ethernet Controller er gode og koster ca. 250,- pr stk). For å takle såpass last bør du ha dual cpu maskin, og PCI-X/66MHz PCI. Men kabel er billig, og om du kjører kablane direkte treng du ikkje dyre switchar. 50m er innanfor rekkevidda for ethernet. Men dv-film, og bare 4 timer backupvindu? Er virkelig filene i bruk over halve natta? Du kan trossalt kopiere sjøl om andre /les/ filene.

 

Et anna alternativ er jo tapebibliotek, men på den mengda og det korte backupvinduet så snakker du da om _mange_ hundretusen.

Share this post


Link to post
Utifra det eg har lese så burde jo då 3-4 trunker med gigabit ethernet holde. Det blir en tusenlapp i ethernetkontrollere i kvar ende (Intel E1000 Ethernet Controller er gode og koster ca. 250,- pr stk). For å takle såpass last bør du ha dual cpu maskin, og PCI-X/66MHz PCI. Men kabel er billig, og om du kjører kablane direkte treng du ikkje dyre switchar. 50m er innanfor rekkevidda for ethernet. Men dv-film, og bare 4 timer backupvindu? Er virkelig filene i bruk over halve natta? Du kan trossalt kopiere sjøl om andre /les/ filene.

 

Et anna alternativ er jo tapebibliotek, men på den mengda og det korte backupvinduet så snakker du da om _mange_ hundretusen.

6549578[/snapback]

 

Tape er ikke aktuelt, både pga mediet, og kostnaden. Det er ikke dv-film, men HD.

Maskinen har 2 PCI-X/100mHz slots, og kjører dualcore Pentium D av ett eller annet slag.

Det er ikke filene som er i bruk halve natta, men serveren administrerer renderfarmen som tikker og går hele tiden, og da skrives det i ett sett til diskene på serveren, og vi ønsker ikke at access til serveren skal være flaskehalsen i renderfarmen. Derfor vil vi å ha et dedikert tidsvindu til backup, som samtidig gir mulighet til å rulle ut oppdateringer i OS, scripts og annen software til nodene i renderfarmen i dette tidsrommet.

 

Edit: fjernet et par leifer

Edited by spiffers

Share this post


Link to post

I den klassen der, tviler jeg på at du finner noen løsninger til under 50 000. Det er snakk om 3 TB på 4 timer? Blir omtrent 750 MB hver time, forutsatt at alt går på skinner. Som regel får du aldri så mye uansett, pga overhead, prosesser på serverne som spiser cpu (eks antivirus) osv. Genererer dere virkelig 3 TB hver eneste dag?

 

Hvis ikke, hvorfor ikke inkrementell backup? Sparer mye tid hvis du kan leve med det. Full backup er sjeldent nødvendig mer enn en gang i uken.

Share this post


Link to post
I den klassen der, tviler jeg på at du finner noen løsninger til under 50 000. Det er snakk om 3 TB på 4 timer? Blir omtrent 750 MB hver time, forutsatt at alt går på skinner. Som regel får du aldri så mye uansett, pga overhead, prosesser på serverne som spiser cpu (eks antivirus) osv. Genererer dere virkelig 3 TB hver eneste dag?

 

Hvis ikke, hvorfor ikke inkrementell backup? Sparer mye tid hvis du kan leve med det. Full backup er sjeldent nødvendig mer enn en gang i uken.

6550108[/snapback]

 

Trur ikke du har lest hele greia her.. Er vel snakk om full backup en gang i uka og inkrementell resten av dagene.

Share this post


Link to post
Trur ikke du har lest hele greia her.. Er vel snakk om full backup en gang i uka og inkrementell resten av dagene.

6550783[/snapback]

 

Stemmer. Den inkrementelle backupen vil ikke kreve stort av båndbredde, er snakk om 10 GB eller noe slikt som skal tas backup av, så det kan sulle og gå enten i et kort tidsvindu, eller innimellom.

 

Det som er en smule problematisk, er at vi må kunne gå tilbake minst en mnd i tid ved restore hvis nødvendig, f.eks. ved feilaktig sletting av filer, overskriving av filer osv. Dette kan evt løses ved å bruke et produkt som f.eks. Alienbrain Studio som har en meget god versjonshåndtering.

Share this post


Link to post
I den klassen der, tviler jeg på at du finner noen løsninger til under 50 000. Det er snakk om 3 TB på 4 timer? Blir omtrent 750 MB hver time, forutsatt at alt går på skinner. Som regel får du aldri så mye uansett, pga overhead, prosesser på serverne som spiser cpu (eks antivirus) osv. Genererer dere virkelig 3 TB hver eneste dag?

 

Hvis ikke, hvorfor ikke inkrementell backup? Sparer mye tid hvis du kan leve med det. Full backup er sjeldent nødvendig mer enn en gang i uken.

6550108[/snapback]

 

Vi genererer ikke 3TB hver dag, videre vil en trunk på 4 Gigabits linjer dytte mer enn 750MB pr time, jeg har ikke målt nøyaktig, men 4GB blir svelgt unna på ca 5-6 minutter med 1 Gigabits linje, så jeg tror du har regnet litt feil. 50.000,- er forresten småpenger når man snakker om god sikkerhet ;)

Share this post


Link to post

Hva med dette kortet fra Intel? Koster sikkert flesk, skjorta og mer til, men.. Bruker "50 µm multi-mode fiber" for avstander over 33 meter. Aner ikke priser på slikt, men sikkert ikke billig det heller :p

Share this post


Link to post
Hva med dette kortet fra Intel? Koster sikkert flesk, skjorta og mer til, men.. Bruker "50 µm multi-mode fiber" for avstander over 33 meter. Aner ikke priser på slikt, men sikkert ikke billig det heller :p

6551356[/snapback]

 

Det var ikke ille pris for det kortet. Linuxbutikken selger det for bare 6.538,-

Share this post


Link to post
Her kommer noen forslag til spesifikasjoner for backup-serveren:

 

- Et rommelig kabinett med 14 stk 3,5"-plasser 2000kr

- 12 stk disker a 320GB: ca 10.000kr inkludert SATA-kabler og strømoverganger

 

Diskene kan settes opp som f.eks 2 stk Raid5-array, der de to Raid5-arrayene kobles sammen med Raid0 til en sammenhengende lagringsplass på 3,2TB.

 

[.................................]

 

Totalpris for serveren: fra ca 16.500 kr utstyrt med redundant lagring på 3,2TB. Slett ikke dyrt til å kunne tilby såpass mye.

6549118[/snapback]

 

 

:dontgetit: Redundans når du involverer Raid 0 ?? For en gangs skyld tror jeg du har gitt et dårlig råd, Simen1. ;)

 

Nei, flesk heller til med en hardware RAID-kontroller, og kjør ett stort RAID 5-oppsett. Evt to RAID 5-oppsett og software disk-spanning.

Share this post


Link to post

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Loading...
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...