Hyper-V / ESX med HDD lagret på SAN

[GeirNord]

Er det noen som har erfaringer med å lagre de virtuelle harddiskene på en SAN?

 

Jeg vet dette er et ganske vidt spørsmål, men ønsker egentlig svar av både de med små og store løsninger om hva slags problemer/ytelse jeg kan forvente. Hvordan hånderer f.eks. SAN mange små forespørsler fra mange virtualle maskiner?

[wsp]

Lagring på SAN er den vanligste måten å løse ting på når man har med virtualisering å gjøre. Hovedgrunnen til dette er at flere hoster kan dele på denne tilgangen og dermed kan virtuelle maskiner flyttes i fart mellom boksene. Med Hyper-V må du for øyeblikket ha 1 VM per LUN eller velge å flytte alle VMene samtidig, mens VMware ESX har et clustret filsystem som fint kan deles mellom flere hoster hvor forskjellige hoster kjører ulike virtuelle maskiner fra samme LUN.

 

Ytelsen på et SAN er ofte bedre enn lokale disker (DAS), men dette kommer an på hvilke protokoller, disk-kontrollere, disker og raid-nivå som brukes.

 

VMware kan per idag bruke SAN som er tilknyttet via FC, SAS, iSCSI eller NFS (NAS). Støtte for FCoE er også rett rundt hjørnet.

 

Når mange virtuelle maskiner kjører mot samme array (et array inneholder ofte flere LUN) så vil man få en høy grad av mixed IO mot dette diskområdet. Det er da viktig å huske på at flere små disker vil gi bedre ytelse enn noen få store disker. Mengden cache på SAN-kontrollerne kan avlaste dette noe, men dette er forskjellig fra miljø til miljø.

 

Lars

[Glenn Østerud]

Når mange virtuelle maskiner kjører mot samme array (et array inneholder ofte flere LUN) så vil man få en høy grad av mixed IO mot dette diskområdet. Det er da viktig å huske på at flere små disker vil gi bedre ytelse enn noen få store disker. Mengden cache på SAN-kontrollerne kan avlaste dette noe, men dette er forskjellig fra miljø til miljø.

 

Lars

 

Jeg mener å huske at VMWare har en liten regnemodell over hvor mange VM'er du kan kjøre mot et LUN i SAN'et. Pga. at det er SCSI kommandoer som kjøres mot SAN'et er det visst en terskel før ytelsen begynner å falle. Da bør man flytte noen VM'er til et annet LUN.

 

Glenn

[wsp]

Jeg mener å huske at VMWare har en liten regnemodell over hvor mange VM'er du kan kjøre mot et LUN i SAN'et. Pga. at det er SCSI kommandoer som kjøres mot SAN'et er det visst en terskel før ytelsen begynner å falle. Da bør man flytte noen VM'er til et annet LUN.

 

Glenn

Hei!

Hver gang en diskfil på vmfs endrer størrelse så blir det issued en scsi reservation. Dette stopper all IO fra alle VMer (fra alle hoster) på dette LUNet mens filens størrelse endres. Dette betyr i praksis at hvis man tar snapshot (et snapshot genererer en voksende fil) så vil man få dårligere ytelse enn om man kjører uten snapshot. Det betyr også at hver gang en ny VM lages så få man samme issue. Hvis man feks kjører softwarereplikering (vReplicator, esxpress, Veeam) så vil det bli tatt snapshot jevnlig og da sier det seg selv at man ikke bør ha så mange VMer per LUN.

 

VMFS3 støtter ca 30k filer per volume så dette er vanligvis ikke begrensningen. VMware har forøvrig ingen bastante tall for hvordan man skal gjøre dette da dette i stor grad avhenger av hva som kjører der.

 

Hvor mange VMer en bør ha per LUN avhenger av diskkonfigurasjon, hvor mye IO hver VM genererer og hvor mange snapshots som er i bruk.

 

Hvis man har mange VMer med liten IO kan man fint ha 80-100 VMer per LUN, mens hvis man har VMer med mye IO så bør man kanskje ikke ha mer en 10-15 VMer. Hvis man har VMer med mye IO så er det også en fordel legge dette LUNet på et array med feks RAID 1+0. Dette gir mye bedre ytelse enn RAID5 (som er mest brukt). At det er mye ram på san-kontrollerne har også en del å si, men ikke nok til at det utjevner forskjellen på RAID5 (eller 6) og RAID 1+0.

 

HP anbefaler for eksempel:

"Carefully determine the number of VMs you can place on a single LUN in your particular environment. Note that, with new VMware Infrastructure 3 capabilities such as iSCSI and NAS, this determination has become even more complex. While VMware Infrastructure 3 supports up to 100 VMs per LUN, 32 VMs per LUN may often be acceptable. However, HP recommends being more conservative and using 8 – 10 VMs per LUN. In a NAS or iSCSI environment, HP recommends using 8 – 16 VMs per LUN. If your VMs are not heavily impacting I/O, you may be able to exceed the conservative recommendations above."

 

Jeg bruker vanligvis å anbefale at man har 10-20 VMer per LUN. Da er man trygg på at man får bra ytelse selv om man skulle ta et snapshop eller to (på VMer uten høy IO).

 

Lars

[Glenn Østerud]

Jeg bruker vanligvis å anbefale at man har 10-20 VMer per LUN. Da er man trygg på at man får bra ytelse selv om man skulle ta et snapshop eller to (på VMer uten høy IO).

 

Lars

 

Veldig bra svar, takk skal du ha.

 

Glenn