Jump to content
Jorn-T

RAID eller NAS

Recommended Posts

Hei! Trenger hjelp til å finne en god lagringsløsning for redigering av 4k/8k video hvor kildefilene er hundretusener av RAW-filer fra speilreflekskameraer. Trenger både høy ytelse og stor lagringsplass.

 

Har et ASUS 370-F m/ i7-8700K i et Fractal Define D5, tre stykk 1 TB M.2, og 8+8+5+4+3 TB interne samt 8, 5x5 TB og 8x4 TB eksterne disker. Som dere skjønner har jeg begynt å miste litt oversikten over alle diskene og kunne tenkt meg et RAID-kabinett eller NAS som minimum kan makse et 600 MBps e-SATA eller kanskje helst en 10 Gbps nettverkstilkobling.

 

En løsning kunne være RAID 0+1 med 4x14 TB 250 MB/s disker internt i PC-kabinettet. (= 28 TB, ca 500 MB/s skriv og 1000 MB/s lesehastighet?)

 

Det optimale ville kanskje være en NAS med 4-8 bays og 10 Gbps nett, som kunne kjøre f.eks 6x8 TB 210 MB/s disker i RAID 5 (= 40 TB, 1000 MB/s lesing og skriving)

 

Erfaringene mine tilsier at kontrollerne ikke er raske nok til å få høye hastigheter med RAID-5. Men... det er nå femten år siden sist gang jeg satte opp raske lagringsløsninger, den gangen både RAID-5, RAID-1 og RAID 0+1, hvor førstnevnte var håpløst tregt selv med 15k rpm SCSI-disker, og sistnevnte var desidert raskest.

 

I dag har jeg null peiling på hvilke produkter som kan tilby de ytelsene jeg er ute etter. ?

 

RAID 0 og ekstern USB backup er også et (rimelig) alternativ. I dag kjører jeg dobbel backup, en offline og en off-site. Men som sagt, holder på å miste oversikten over alle diskene ?

  • Like 1

Share this post


Link to post

Ikke helt et svar på akkurat det du spør om, men allikevel:

 

Min løsning er å ha aktive prosjekter på raske interne SSD-er og arkivprosjektene på eksternt NAS. SSD-ene speiles automatisk mot et NAS, som igjen laster det opp i skyen. I tillegg har jeg et 8-bay arkiv-NAS med to diskers redundans, som også er speilet i skyen. Jeg flytter prosjektene fra SSD-er til arkiv-NAS etterhvert som de ferdigstilles, og har samme filbaner på SSD-er og NAS basert på kunder eller dato. Premiere finner igjen filer som ligger i samme mappe eller undermapper av prosjektfilens plassering uten at du må foreta deg noe.

 

Bruker forøvrig NAS fra Synology.

 

EDIT: Fjernet sitat.

Edited by -Teddy-
  • Like 2

Share this post


Link to post

Høres ut som en bra løsning, det er litt det samme jeg har gjort, kjørt prosjekter på m.2 SSD og flyttet de ut på harddisk etterpå.

 

De siste prosjektene har jeg måttet delt i to da kildefilene har passert 1 TB som er mer enn den største SSD'en jeg har.

 

Nå er jeg kommet dit at jeg har et prosjekt med 10 TB RAW-filer som jeg skal rendre ut via 32-bit TIFF til 4444 ProRes og videre ut til final i egnet format.

 

Trenger sikkert 20 TB tilsammen for dette ene prosjektet. Det er hovedsakelig høy lesehastighet jeg trenger, men 3200 MB/sek fra m.2 er litt overkill da flaskehalsen uansett blir prosessoren.

 

500-1000 MB/sek fra et NAS med RAID-5 hadde vært ypperlig ☺ Og å fylle kabinettet med billige disker.

  • Like 1

Share this post


Link to post

Tenkte litt på Raid-5, men med de hastighetene du trenger, så er vel kun SSD godt nok, å da blir det veldig dyrt igjen.
Men er ikke noen racer på raid, så dette kan en god del andre her på forumet mye bedre ;)

  • Like 1

Share this post


Link to post

Har bare 1GbE, så det er flaskehalsen hos meg. Prosjektene mine er som regel 30-150GB. Litt tidkrevende å åpne arkivprosjekter, men ikke noe stort problem ettersom det ikke skjer så ofte.

Kunne hatt alt på ett NAS, men måtte kjøpe nytt så splittet det like gjerne opp.

Det lille NAS-et har SHR med 1-disk redundans, arkivet har 2-diskers redundans. Har 10TB Seagate Ironwolf disker i sistnevnte, og 4TB disker i førstnevnte. 10TB-diskene bråker vesentlig mer enn 4TB når de er aktive.

I DS1817+ kan du forøvrig smelle inn SSD-cache, men da får du ikke satt inn 10GbE-nettverkskort. Til gjengjeld har du 4 1GbE-porter. 1817 (uten+) kommer med dobbel 10GbE, men tregere prosessor. De hevder inntil 1577MB/s sekvensielt.

https://www.prisjakt.no/product.php?p=4289101
https://www.prisjakt.no/product.php?p=3795749

1817 (uten pluss):
https://www.synology.com/en-global/products/DS1817

  • Like 1

Share this post


Link to post

Synology NAS(DS1817+) på 10GbE nett, SHR2(tilsvarende raid6).

5x 10TB WD

3x 4TB WD

 

4TB diskene er tregere enn de nyere 10TB diskene, antar at det reduserer ytelsen noe.

 

uIiAleJ.png

  • Like 1

Share this post


Link to post

Jeg liker å ha Areca raid lokalt med raid-6. Veldig bra hastighet i raid-6 og bruker ssder i raid-0 til mellomlagring. Et aray med 850pro ssd'er og et array med Adata m.2 sx8200pro. Om hastighet er tingen, så er Areca raid det du vil ha :)

 

24porter Areca 1883 med 4/8GB cache og bbu er en klassiker.

Edited by Nizzen
  • Like 1

Share this post


Link to post

Teddy: må nok ha 1-2 x 10 GbE om jeg skal kunne bruke arrayet direkte som prosjektdisk, noe jeg kunne tenke meg å gjøre. Ser det begrenser seg litt hvor mange kabinetter som støtter dette.

 

Det er kanskje lengdebegrensninger på nettverkskabelen? Hva med USB 3.1 10 Gbps,er det enda mer begrenset kabellengde?

 

Udzero: Nice, nice! Er vel kanskje nettverket som er begrensningen der? Men fin hastighet, plenty både for skriv og les for mitt bruk! Hvordan ser det ut om du kopierer filer fra og til samme array?

 

Nizzen: Hehe, høres litt overkill ut til mitt bruk, men jeg vurderer kanskje 3-4-5 disker i et internt RAID, må ha en ekstra PCI kontroller isåfall. M.2 diskene mine stjeler PCI lanes fra den interne SATA-kontrolleren så har bare tre-fire ledige porter om de tre M.2'ene skal kunne kjøre med full hastighet..

 

Ser et 8-porters Qnap NAS med dual 10 Gbit til rett over 6000 kr på prisjakt, fristende å få plassert alle snurrediskene i boden. Men boden er 10-15-20 meter med kabel unna. Da går det kanskje ikke?

  • Like 1

Share this post


Link to post

Teddy: må nok ha 1-2 x 10 GbE om jeg skal kunne bruke arrayet direkte som prosjektdisk, noe jeg kunne tenke meg å gjøre. Ser det begrenser seg litt hvor mange kabinetter som støtter dette.

 

Det er kanskje lengdebegrensninger på nettverkskabelen? Hva med USB 3.1 10 Gbps,er det enda mer begrenset kabellengde?

 

Udzero: Nice, nice! Er vel kanskje nettverket som er begrensningen der? Men fin hastighet, plenty både for skriv og les for mitt bruk! Hvordan ser det ut om du kopierer filer fra og til samme array?

 

Nizzen: Hehe, høres litt overkill ut til mitt bruk, men jeg vurderer kanskje 3-4-5 disker i et internt RAID, må ha en ekstra PCI kontroller isåfall. M.2 diskene mine stjeler PCI lanes fra den interne SATA-kontrolleren så har bare tre-fire ledige porter om de tre M.2'ene skal kunne kjøre med full hastighet..

 

Ser et 8-porters Qnap NAS med dual 10 Gbit til rett over 6000 kr på prisjakt, fristende å få plassert alle snurrediskene i boden. Men boden er 10-15-20 meter med kabel unna. Da går det kanskje ikke?

 

Trodde du ville ha konge hastighet jeg :D For å si det slik, så går jeg ikkje bort fra Areca raidkontroller med det første :p

  • Like 1

Share this post


Link to post

Udzero: Nice, nice! Er vel kanskje nettverket som er begrensningen der? Men fin hastighet, plenty både for skriv og les for mitt bruk! Hvordan ser det ut om du kopierer filer fra og til samme array?

Tror ikke det er nettverket, er nok NAS-en. Usikker på hva som begrenser skrivehastigheten, det er plenty ledig CPU og RAM. Jeg vil tro det vil hjelpe å kun ha nyere disker, ikke en blanding av disker med ulik ytelse. Alle er forøvrig WD Reds, hvorav de tre 4TB diskene er ganske gamle, de nyere 10TB yter bedre.

 

Opprettet en RAM disk så jeg kunne teste real life windows copy.

 

Kopiering fra NAS

post-10128-0-83354000-1561329740_thumb.png

 

Skriving til NAS

post-10128-0-09679000-1561329749_thumb.png

Edited by Uderzo
  • Like 1

Share this post


Link to post

 Jeg skriver ikke til ramdisken der, men leser fra den og skriver til NAS-en. Der er flaskehalsen NAS-en.

  • Like 1

Share this post


Link to post

Jo, det skal være mulig, men jeg er ikke så dreven i Linux så jeg tør ikke helt å begi meg ut på det ;)

Men det vil i såfall kun teste mitt lokalnett (10Gbit), vet ikke hvor relevant det er i forhold til trådens tema.

  • Like 1

Share this post


Link to post

Jeg tenkte (åpenbart) umiddelbart når du skrev at du tror nyere disker vil hjelpe og deretter at du opprettet en ramdisk for å teste, at det var på nas'en du opprettet ramdisken. Jeg så derfor ikke nøye (nok) på bildene.

 

Videre tenkte jeg det ville være relevant for ts å vite om DS1817+ klarer nær 1000Mb/s skriving til ramdisk (på nas'en). Mulig du har rett at det egentlig bare vil teste nettet, eller kanskje det ville vist at det er noe annet som foregår.

Edited by mobile999
  • Like 1

Share this post


Link to post

Jeg ser at Synology, på sine sider, sier at NAS-en klarer opptil 1,179 MB/s les and 542 MB/s skriv, når den er testet i lab-en hos dem.

Så jeg er ikke langt unna maks ytelse, jeg antar at mine 3 gamle disker begrenser raid array-et litt.

Edited by Uderzo
  • Like 1

Share this post


Link to post

Kan legge til at det er trolig at det er raid6 som holder meg tilbake når det gjelder skrivehastigheten, raid5 som Synology brukte i sin test er noe raskere når det gjelder skrivehastighet, lesehastigheten er ganske lik.

Jeg vil dog ikke anbefale raid5 hvis du har mange og store disker, da rebuild av raidet kan ta en god stund, typisk 4-6 dager. Og da er man sårbar for datatap hvis en disk skulle ryke i mellomtiden.

Raid6 med sin ekstra parity disk reduserer denne risikoen.

  • Like 1

Share this post


Link to post

Skal man ha høyere raid-6 skrivehastighet, så er det Areca raidkontroller med mange disker som gjelder :p

Hehe

Edited by Nizzen
  • Like 1

Share this post


Link to post

Skjønner, har aldri satt opp RAID-6, så måtte lese meg opp litt. Dersom det er like disker i RAID-5 og én ryker, og de gjenværende diskene må stå og tygge en uke, ville jeg nok vært litt nervøs for at de andre diskene også skulle ta kvelden. ?

 

Mulig jeg tar sjansen på RAID-5 likevel. Vurderer faktisk internt RAID-0 ?

 

Av hensyn til risikoen ved diverse løsepengevirus, brann eller tyveri, kommer jeg nok uansett til å fortsette med offline og offsite backup som jeg tar med ujevne mellomrom.

 

Skrivehastighet til RAID5/6 er nok ikke all verden, men 500 MB/sek er anstendig og nok til mitt bruk. Mener jeg fikk 20 MB/sek til 3x73 GB 10k disker sånn for 15-20 år siden, hvor hver enkelt av diskene skulle klare mye mer, kanskje 80 MB/sek. Elendig Adaptec SCSI RAID-kontroller! ?

  • Like 1

Share this post


Link to post

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Loading...

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...