Gå til innhold

RAID eller NAS


Anbefalte innlegg

Hei! Trenger hjelp til å finne en god lagringsløsning for redigering av 4k/8k video hvor kildefilene er hundretusener av RAW-filer fra speilreflekskameraer. Trenger både høy ytelse og stor lagringsplass.

 

Har et ASUS 370-F m/ i7-8700K i et Fractal Define D5, tre stykk 1 TB M.2, og 8+8+5+4+3 TB interne samt 8, 5x5 TB og 8x4 TB eksterne disker. Som dere skjønner har jeg begynt å miste litt oversikten over alle diskene og kunne tenkt meg et RAID-kabinett eller NAS som minimum kan makse et 600 MBps e-SATA eller kanskje helst en 10 Gbps nettverkstilkobling.

 

En løsning kunne være RAID 0+1 med 4x14 TB 250 MB/s disker internt i PC-kabinettet. (= 28 TB, ca 500 MB/s skriv og 1000 MB/s lesehastighet?)

 

Det optimale ville kanskje være en NAS med 4-8 bays og 10 Gbps nett, som kunne kjøre f.eks 6x8 TB 210 MB/s disker i RAID 5 (= 40 TB, 1000 MB/s lesing og skriving)

 

Erfaringene mine tilsier at kontrollerne ikke er raske nok til å få høye hastigheter med RAID-5. Men... det er nå femten år siden sist gang jeg satte opp raske lagringsløsninger, den gangen både RAID-5, RAID-1 og RAID 0+1, hvor førstnevnte var håpløst tregt selv med 15k rpm SCSI-disker, og sistnevnte var desidert raskest.

 

I dag har jeg null peiling på hvilke produkter som kan tilby de ytelsene jeg er ute etter. ?

 

RAID 0 og ekstern USB backup er også et (rimelig) alternativ. I dag kjører jeg dobbel backup, en offline og en off-site. Men som sagt, holder på å miste oversikten over alle diskene ?

  • Liker 1
Lenke til kommentar
Videoannonse
Annonse

Ikke helt et svar på akkurat det du spør om, men allikevel:

 

Min løsning er å ha aktive prosjekter på raske interne SSD-er og arkivprosjektene på eksternt NAS. SSD-ene speiles automatisk mot et NAS, som igjen laster det opp i skyen. I tillegg har jeg et 8-bay arkiv-NAS med to diskers redundans, som også er speilet i skyen. Jeg flytter prosjektene fra SSD-er til arkiv-NAS etterhvert som de ferdigstilles, og har samme filbaner på SSD-er og NAS basert på kunder eller dato. Premiere finner igjen filer som ligger i samme mappe eller undermapper av prosjektfilens plassering uten at du må foreta deg noe.

 

Bruker forøvrig NAS fra Synology.

 

EDIT: Fjernet sitat.

Endret av -Teddy-
  • Liker 2
Lenke til kommentar

Høres ut som en bra løsning, det er litt det samme jeg har gjort, kjørt prosjekter på m.2 SSD og flyttet de ut på harddisk etterpå.

 

De siste prosjektene har jeg måttet delt i to da kildefilene har passert 1 TB som er mer enn den største SSD'en jeg har.

 

Nå er jeg kommet dit at jeg har et prosjekt med 10 TB RAW-filer som jeg skal rendre ut via 32-bit TIFF til 4444 ProRes og videre ut til final i egnet format.

 

Trenger sikkert 20 TB tilsammen for dette ene prosjektet. Det er hovedsakelig høy lesehastighet jeg trenger, men 3200 MB/sek fra m.2 er litt overkill da flaskehalsen uansett blir prosessoren.

 

500-1000 MB/sek fra et NAS med RAID-5 hadde vært ypperlig ☺ Og å fylle kabinettet med billige disker.

  • Liker 1
Lenke til kommentar

Har bare 1GbE, så det er flaskehalsen hos meg. Prosjektene mine er som regel 30-150GB. Litt tidkrevende å åpne arkivprosjekter, men ikke noe stort problem ettersom det ikke skjer så ofte.

Kunne hatt alt på ett NAS, men måtte kjøpe nytt så splittet det like gjerne opp.

Det lille NAS-et har SHR med 1-disk redundans, arkivet har 2-diskers redundans. Har 10TB Seagate Ironwolf disker i sistnevnte, og 4TB disker i førstnevnte. 10TB-diskene bråker vesentlig mer enn 4TB når de er aktive.

I DS1817+ kan du forøvrig smelle inn SSD-cache, men da får du ikke satt inn 10GbE-nettverkskort. Til gjengjeld har du 4 1GbE-porter. 1817 (uten+) kommer med dobbel 10GbE, men tregere prosessor. De hevder inntil 1577MB/s sekvensielt.

https://www.prisjakt.no/product.php?p=4289101
https://www.prisjakt.no/product.php?p=3795749

1817 (uten pluss):
https://www.synology.com/en-global/products/DS1817

  • Liker 1
Lenke til kommentar

Jeg liker å ha Areca raid lokalt med raid-6. Veldig bra hastighet i raid-6 og bruker ssder i raid-0 til mellomlagring. Et aray med 850pro ssd'er og et array med Adata m.2 sx8200pro. Om hastighet er tingen, så er Areca raid det du vil ha :)

 

24porter Areca 1883 med 4/8GB cache og bbu er en klassiker.

Endret av Nizzen
  • Liker 1
Lenke til kommentar

Teddy: må nok ha 1-2 x 10 GbE om jeg skal kunne bruke arrayet direkte som prosjektdisk, noe jeg kunne tenke meg å gjøre. Ser det begrenser seg litt hvor mange kabinetter som støtter dette.

 

Det er kanskje lengdebegrensninger på nettverkskabelen? Hva med USB 3.1 10 Gbps,er det enda mer begrenset kabellengde?

 

Udzero: Nice, nice! Er vel kanskje nettverket som er begrensningen der? Men fin hastighet, plenty både for skriv og les for mitt bruk! Hvordan ser det ut om du kopierer filer fra og til samme array?

 

Nizzen: Hehe, høres litt overkill ut til mitt bruk, men jeg vurderer kanskje 3-4-5 disker i et internt RAID, må ha en ekstra PCI kontroller isåfall. M.2 diskene mine stjeler PCI lanes fra den interne SATA-kontrolleren så har bare tre-fire ledige porter om de tre M.2'ene skal kunne kjøre med full hastighet..

 

Ser et 8-porters Qnap NAS med dual 10 Gbit til rett over 6000 kr på prisjakt, fristende å få plassert alle snurrediskene i boden. Men boden er 10-15-20 meter med kabel unna. Da går det kanskje ikke?

  • Liker 1
Lenke til kommentar

Teddy: må nok ha 1-2 x 10 GbE om jeg skal kunne bruke arrayet direkte som prosjektdisk, noe jeg kunne tenke meg å gjøre. Ser det begrenser seg litt hvor mange kabinetter som støtter dette.

 

Det er kanskje lengdebegrensninger på nettverkskabelen? Hva med USB 3.1 10 Gbps,er det enda mer begrenset kabellengde?

 

Udzero: Nice, nice! Er vel kanskje nettverket som er begrensningen der? Men fin hastighet, plenty både for skriv og les for mitt bruk! Hvordan ser det ut om du kopierer filer fra og til samme array?

 

Nizzen: Hehe, høres litt overkill ut til mitt bruk, men jeg vurderer kanskje 3-4-5 disker i et internt RAID, må ha en ekstra PCI kontroller isåfall. M.2 diskene mine stjeler PCI lanes fra den interne SATA-kontrolleren så har bare tre-fire ledige porter om de tre M.2'ene skal kunne kjøre med full hastighet..

 

Ser et 8-porters Qnap NAS med dual 10 Gbit til rett over 6000 kr på prisjakt, fristende å få plassert alle snurrediskene i boden. Men boden er 10-15-20 meter med kabel unna. Da går det kanskje ikke?

 

Trodde du ville ha konge hastighet jeg :D For å si det slik, så går jeg ikkje bort fra Areca raidkontroller med det første :p

  • Liker 1
Lenke til kommentar

Udzero: Nice, nice! Er vel kanskje nettverket som er begrensningen der? Men fin hastighet, plenty både for skriv og les for mitt bruk! Hvordan ser det ut om du kopierer filer fra og til samme array?

Tror ikke det er nettverket, er nok NAS-en. Usikker på hva som begrenser skrivehastigheten, det er plenty ledig CPU og RAM. Jeg vil tro det vil hjelpe å kun ha nyere disker, ikke en blanding av disker med ulik ytelse. Alle er forøvrig WD Reds, hvorav de tre 4TB diskene er ganske gamle, de nyere 10TB yter bedre.

 

Opprettet en RAM disk så jeg kunne teste real life windows copy.

 

Kopiering fra NAS

post-10128-0-83354000-1561329740_thumb.png

 

Skriving til NAS

post-10128-0-09679000-1561329749_thumb.png

Endret av Uderzo
  • Liker 1
Lenke til kommentar

Jeg tenkte (åpenbart) umiddelbart når du skrev at du tror nyere disker vil hjelpe og deretter at du opprettet en ramdisk for å teste, at det var på nas'en du opprettet ramdisken. Jeg så derfor ikke nøye (nok) på bildene.

 

Videre tenkte jeg det ville være relevant for ts å vite om DS1817+ klarer nær 1000Mb/s skriving til ramdisk (på nas'en). Mulig du har rett at det egentlig bare vil teste nettet, eller kanskje det ville vist at det er noe annet som foregår.

Endret av mobile999
  • Liker 1
Lenke til kommentar

Jeg ser at Synology, på sine sider, sier at NAS-en klarer opptil 1,179 MB/s les and 542 MB/s skriv, når den er testet i lab-en hos dem.

Så jeg er ikke langt unna maks ytelse, jeg antar at mine 3 gamle disker begrenser raid array-et litt.

Endret av Uderzo
  • Liker 1
Lenke til kommentar

Kan legge til at det er trolig at det er raid6 som holder meg tilbake når det gjelder skrivehastigheten, raid5 som Synology brukte i sin test er noe raskere når det gjelder skrivehastighet, lesehastigheten er ganske lik.

Jeg vil dog ikke anbefale raid5 hvis du har mange og store disker, da rebuild av raidet kan ta en god stund, typisk 4-6 dager. Og da er man sårbar for datatap hvis en disk skulle ryke i mellomtiden.

Raid6 med sin ekstra parity disk reduserer denne risikoen.

  • Liker 1
Lenke til kommentar

Skjønner, har aldri satt opp RAID-6, så måtte lese meg opp litt. Dersom det er like disker i RAID-5 og én ryker, og de gjenværende diskene må stå og tygge en uke, ville jeg nok vært litt nervøs for at de andre diskene også skulle ta kvelden. ?

 

Mulig jeg tar sjansen på RAID-5 likevel. Vurderer faktisk internt RAID-0 ?

 

Av hensyn til risikoen ved diverse løsepengevirus, brann eller tyveri, kommer jeg nok uansett til å fortsette med offline og offsite backup som jeg tar med ujevne mellomrom.

 

Skrivehastighet til RAID5/6 er nok ikke all verden, men 500 MB/sek er anstendig og nok til mitt bruk. Mener jeg fikk 20 MB/sek til 3x73 GB 10k disker sånn for 15-20 år siden, hvor hver enkelt av diskene skulle klare mye mer, kanskje 80 MB/sek. Elendig Adaptec SCSI RAID-kontroller! ?

  • Liker 1
Lenke til kommentar

Opprett en konto eller logg inn for å kommentere

Du må være et medlem for å kunne skrive en kommentar

Opprett konto

Det er enkelt å melde seg inn for å starte en ny konto!

Start en konto

Logg inn

Har du allerede en konto? Logg inn her.

Logg inn nå
×
×
  • Opprett ny...