Mdadm raid med 3TB disker

[MikalD]

Har satt opp 3 3TB disker i Raid-5 med mdadm. Disse har 1TB per plate.

 

Må da bruke GPT og 4k sector.

Disker

3x SEAGATE BARRACUDA 3TB 7200RPM SATA/600 64MB ST3000DM001

 

Slik som jeg forstår det må partisjonen begynne på sector 2048.

Dette skjer vel automatisk med gdisk og GPT.

 

Er litt usikker på om alt er riktig. Kjekt og få litt innspill fra flere. Er ikke akkurat noe RAID guru med GPT og 4k sectors.

 

Fremgangmåte

 

Partisjonering:

gdisk - Fulgte den interaktive metoden
GPT
new partition
Default: 1 - partisjons nummer
Default first sector - 2048
+100MB ledig plass på slutten. På grunn av noen disker kan være litt forskjellig størrelse
Linux Raid file system fd00
write

 

Clonet da GPT tabellen til de 2 andre diskene ved:

sgdisk --backup=table /dev/sda
sgdisk --load-backup=table /dev/sdb
sgdisk --load-backup=table /dev/sdc

 

Bygde så arrayet med alle 3TB partisjonene:

mdadm --create /dev/md0 --level=5 --raid-devices=3 /dev/sda1 /dev/sdb1 /dev/sdc1

 

Når det var ferdig måtte jeg lage et filsystem på /dev/md0 som var på 6TB:

Raid chunk size KiB 512
filesystem blocks KiB 4
mkfs.ext4 -b 4096 -E stride=128,stripe-width=256

 

 

Config´s

 

mdadm.conf

DEVICE /dev/sd[abc]1
DEVICE partitions
ARRAY /dev/md0 UUID=40c7824d:820fe390:b9abfd6a:39f2fddf

 

mkinitcpio.conf

MODULES="dm_mod"
HOOKS=”.... udev mdadm_udev …..”

 

fstab

UUID=bf35b672-4a0f-4f91-95d2-0877a00e52d0 /home/server/RAID ext4 defaults 0 0

 

 

Info

 

gdisk:

dev/sda
Using 1
Partition GUID code: ...(Linux RAID)
Partition unique GUID: ...
First sector: 2048 (at 1024.0 KiB)
Last sector: 206847 (at 101.0 MiB)
Partition size: 204800 sectors (100.0 MiB)
Attribute flags: 0000000000000000
Partition name: 'Linux RAID'

 

mdadm --misc --detail /dev/md0:

/dev/md0:
	Version : 1.2
 Creation Time : Sat Apr 21 18:07:27 2012
 Raid Level : raid5
 Array Size : 5860530176 (5589.04 GiB 6001.18 GB)
 Used Dev Size : 2930265088 (2794.52 GiB 3000.59 GB)
  Raid Devices : 3
 Total Devices : 3
Persistence : Superblock is persistent
Update Time : Mon Apr 23 04:48:47 2012
	  State : clean
Active Devices : 3
Working Devices : 3
Failed Devices : 0
 Spare Devices : 0
	 Layout : left-symmetric
 Chunk Size : 512K
	   Name : archserver:0  (local to host archserver)
	   UUID : 40c7824d:820fe390:b9abfd6a:39f2fddf
	 Events : 18
Number   Major   Minor   RaidDevice State
   0	   8		0		0	  active sync   /dev/sda
   1	   8	   16		1	  active sync   /dev/sdb
   3	   8	   32		2	  active sync   /dev/sdc

 

smartctl:

Sector Sizes:	 512 bytes logical, 4096 bytes physical

 

hdparm -I /dev/sda:

Configuration:
Logical  max current
cylinders 16383 16383
heads  16 16
sectors/track 63 63
--
CHS current addressable sectors:   16514064
LBA	user addressable sectors:  268435455
LBA48  user addressable sectors: 5860533168
Logical  Sector size:				   512 bytes
Physical Sector size:				  4096 bytes
Logical Sector-0 offset:				  0 bytes
device size with M = 1024*1024:	 2861588 MBytes
device size with M = 1000*1000:	 3000592 MBytes (3000 GB)

 

 

Benchmark:

hdparm -Tt /dev/md0

/dev/md0:
Timing cached reads:   25578 MB in  2.00 seconds = 12808.57 MB/sec
Timing buffered disk reads: 832 MB in  3.01 seconds = 276.21 MB/sec

 

Kjørte en Ubuntu 12.04 VM på maskinen og for og teste nye Ubuntu. Tok da også en read test med det innebygde verktøyet:

Min Read: 235Mb/s
Max Read: 3.6Gb/s
Avg Read: 2.0Gb/s

 

Får over 120MB/s write speed til raidet over nettverket.

Rundt 60MB/s når arrayet ble bygget/syncet.

 

Det er vel ikke helt gyldige benchmarks dette da hdparm og slikt ikke gir helt riktig på raid. Burde vel bruke noe som Bonnie++ eller liggnende.

 

 

Men ser dette greit ut? Bare spør om det trengs mer info.

 

 

Problem med parking av lesearm

Hørte hele tiden sånn klikkelyd og undersøkte smart status osv. Fant ut at den hadde parkert lesearmen flere hundre ganger i løpet av få timer.

Ser at det er haugevis med tråder på Seagate sine forumer om dette og folk finner ikke helt ut av det. Men jeg løste det ved og slå av funksjonen helt.

 

hdparm -B 255 /dev/sda

hdparm -B 255 /dev/sdb

hdparm -B 255 /dev/sdc

 

Filserveren står helt stille og har god luftflytt så tror ikke det blir noe problem. Hva tenker dere? Sliter vel mer på harddisken og parkere lesearmen hele tiden en og la de kjøre stabilt og ved samme temp hele tiden nesten.

Endret 9. mai 2012 av MikalD

[Del]

Er ikke akkurat noe RAID guru med GPT og 4k sectors.

Tror ikke du kan fraskrive deg gurustemepelet her. Flott gjennomgang! Det eneste jeg fant av endringsforlag er en trivialitet. Du skrev: Når det var ferdig måtte lagde jeg en partisjon..

du mente antagelig at du lagde et filsystem.

[MikalD]

Er ikke akkurat noe RAID guru med GPT og 4k sectors.

Tror ikke du kan fraskrive deg gurustemepelet her. Flott gjennomgang! Det eneste jeg fant av endringsforlag er en trivialitet. Du skrev: Når det var ferdig måtte lagde jeg en partisjon..

du mente antagelig at du lagde et filsystem.

 

Takk

 

Ja selvfølgelig. Gikk litt fort i svingene her.

[dmdb]

Man bør kanskje nevne hvilket OS man brukte å bygge raid-et i og hensikt med oppsettet.

[MikalD]

Man bør kanskje nevne hvilket OS man brukte å bygge raid-et i og hensikt med oppsettet.

 

Ser ikke helt poenget da, mdadm er for Linux og det er akkurat likt på alle distroer. Men om du lurer bruker jeg Arch Linux.

[werid]

personlig ville jeg kjørt raid6, ikke 5 med så store disker. husk at du er sårbar mens du erstatter en død disk inntil erstatningsdisken er 100

[MikalD]

personlig ville jeg kjørt raid6, ikke 5 med så store disker. husk at du er sårbar mens du erstatter en død disk inntil erstatningsdisken er 100

Ja det er helt sant. All data er backup på 2 lokasjoner eksternt. + en lokasjon på samme område. Raidet skal oppgraderes til RAID-6 etterhvert.

 

Kommer til og skrive her hvordan for de som lurer

Endret 22. juni 2012 av MikalD

[kpolberg]

Jeg ville nok nevnt LVM. Det er så store fordeler ved å bruke LVM at det blir dumt å ikke nevne det. Jeg bruker sjelden all plassen på disken. All plassen blir lagt til i volumgruppen, men jeg tilegner den ikke til ett filsystem, fordi filsystemene stort sett kan utvides "on-the-fly" senere.