Skip Ribbon Commands
Skip to main content

Ondrej Sevecek's Blog

:

Engineering and troubleshooting by Directory Master!
Microsoft Certified Master: Directory Services   RSS
RSS
Ondrej Sevecek's Blog > Posts > Strašlivě pomalé Hyper-V
prosinec 04
Strašlivě pomalé Hyper-V
by  Ondřej Ševeček  on 4.12.2014 22:29
Category: Blog

Potřebuju radu.

Veliký problém s Hyper-V výkonem VHDX souborů. Situace je následující. Hyper-V host se dvěma CPU sockety, má to 2 NUMA node. NUMA spanning je vypnut. Storage je iSCSI. Disk, na kterém jsou VHDX soubory není clustrovaný. Jak železo, tak i virtuální stroj (jedinný běžící) je Windows Server 2012 R2 se všemi aktualizacemi z Windows Update. Ve virtuálce se to chová stejně, i když je tam jenom čistá instalace stejného OS. Hyper-V integration components (IC) uvnitř VM jsou nejnovější možné. Virtuální stroj nemá žádné NIC. Nemá zapnutu dynamickou paměť. VHDX je sice dynamicky rostoucí, ale nezvětšuje se a byl překopírován na čistý disk, takže bez fragmentace, což říká i Get-VHD.

Železo jede velice svižně. Virtuální počítač je velice pomalý. Když se podívám na disk response time (disk latency) na železe, je vidět, že do těch VHDX souborů se zapisuje s cca 1-3ms. Když se podívám přes Resource Monitor na to stejné uvnitř virtuálního počítače, vidím disk latency cca 100ms a mnohem více.

Formát je 64kB jak disku s VHDX, tak i uvnitř virtuálního počítače. VHDX má 4kB fyzický sektor, 512B logický směrem do virtuálky.

Někdo nějaké nápady?

Permanent Link to Post | Email Post Link | Number of Comments 19 Comment(s)

Comments

Re: Strašlivě pomalé Hyper-V

Zkuste jinou verzi Hyper-V pokud je to mozne.
Jan Urbanik on 5.12.2014 7:50

Doporučil bych projít tento popis

Dobrý den

Zkusil bych se podívat na tento dokument http://download.microsoft.com/download/9/B/2/9B205446-37EE-4BB1-9A50-E872565692F1/PerfTuningGuideServer2012R2.pdf

Nicméně záleží na tom co je pomalé, pak bych doporučil ještě PAL a to jak v fyzickém stroji tak ve virtuálce, ale to vy určitě víte ;) popřípadě jsem na skype a můžeme to nějak zkusit probrat

S pozdravem
Denny
Denny on 5.12.2014 8:11

Re: Strašlivě pomalé Hyper-V

no já jsem neměl moc času se tím včera zabývat, takže to prozkoumám dnes.

obecně bych řekl, že to nemá nic společného s tuningem výkonu. Tam je něco zatraceně špatně. Pokud ta virtuálka jede padesátkrát pomaleji, než by měla, tak něco hnije. Tohle se nedá tunit. Tunění může pomoci určitě v oblasti do 100% ale těžko můžu očekávat, že bych tomu pomohl 50x

spíš to podle mě bude nějaký jeden magický přepínač někde, který soudruzi ze storage (ne)zapnuli.
ondass on 5.12.2014 8:38

Re: Strašlivě pomalé Hyper-V

Dobry den,

ja by som zacal od toho najjednoduchsieho a to vytvoril,/  bud prekopiroval alebo radsej nainstaloval novy virtualny OS/  ale VHDX by som umiestnil priamo na HOSTa. Cela ta operace nezabere vela vasu (o:  Hned po instalacii noveho OS vidno rychlost virtualu, potom nainstaloval updates a znova skontroloval rychlost. Podla vysledku rychlosti by som mohol izolovat aspon 1 problem, ci to robi nieco v nastaveni Hyper-V alebo externe ulozisko alebo updates ....

Michal
Michal on 5.12.2014 11:56

mozne reseni pomalosti

Hola, mel jsem nekolikrat na nekolika clusterech uplne stejny problem (tedy pomalost a mozna male odlisnosti) ale stacilo vypnout VMQ a okamzite se vse vyresilo vypnutim VMQ. Myslim ze vzhledem ke storage na iSCSI by to mohlo byt, my mame po vetsinou fibre nebo SAS no ...

Coz zkusit toto, je to jeden commandlet oblibeneho powershellu ;-)
vc.
vlada cink on 5.12.2014 13:15

Re: Strašlivě pomalé Hyper-V

Začal bych vylučovací metodou, na hostu a i ve virtuálu bych pustil nějaký benchmark disku
třeba
http://crystalmark.info/software/CrystalDiskMark/index-e.html

a porovnal výsledky. Co používáte jako iSCSI target ?
nikdo on 5.12.2014 13:20

RE: nikdo

Pouzivame Dell Compellent na 10G metalice. Znovu opakuji, ze na Hyper-V serveru jsou odezvy v poradku, v radu jednotek ms.
Zakaznik on 5.12.2014 13:53

mozne reseni pomalosti

Hola, mel jsem nekolikrat na nekolika clusterech uplne stejny problem (tedy pomalost a mozna male odlisnosti) ale stacilo vypnout VMQ a okamzite se vse vyresilo vypnutim VMQ. Myslim ze vzhledem ke storage na iSCSI by to mohlo byt, my mame po vetsinou fibre nebo SAS no ...

Coz zkusit toto, je to jeden commandlet oblibeneho powershellu ;-)
vc.
vlada cink on 5.12.2014 14:03

Re: Strašlivě pomalé Hyper-V

Myslel jste toto?

Get-NetAdapterVmq

Name                           InterfaceDescription              Enabled BaseVmqProcessor MaxProcessors NumberOfReceive
                                                                                                        Queues
----                           --------------------              ------- ---------------- ------------- ---------------
HeartBeat                      Broadcom NetXtreme Gigabit Eth... False   0:0              16            16
Switch1                        Broadcom NetXtreme Gigabit E...#3 True    0:0              16            16
Switch2                        Broadcom NetXtreme Gigabit E...#4 True    0:0              16            16
DMZ                            Broadcom NetXtreme Gigabit E...#2 False   0:0              16            16
iSCSI2                         Intel(R) Ethernet 10G 2P X520 ... False   0:0              16            0
iSCSI1                         Intel(R) Ethernet 10G 2P X52...#2 False   0:0              16            0
TEAM                           Microsoft Network Adapter Mult... True    0:0                            32
Zakaznik on 5.12.2014 17:10

Re: Strašlivě pomalé Hyper-V

Myslel jste toto?

Get-NetAdapterVmq

Name                           InterfaceDescription              Enabled BaseVmqProcessor MaxProcessors NumberOfReceive
                                                                                                        Queues
----                           --------------------              ------- ---------------- ------------- ---------------
HeartBeat                      Broadcom NetXtreme Gigabit Eth... False   0:0              16            16
Switch1                        Broadcom NetXtreme Gigabit E...#3 True    0:0              16            16
Switch2                        Broadcom NetXtreme Gigabit E...#4 True    0:0              16            16
DMZ                            Broadcom NetXtreme Gigabit E...#2 False   0:0              16            16
iSCSI2                         Intel(R) Ethernet 10G 2P X520 ... False   0:0              16            0
iSCSI1                         Intel(R) Ethernet 10G 2P X52...#2 False   0:0              16            0
TEAM                           Microsoft Network Adapter Mult... True    0:0                            32
Zakaznik on 5.12.2014 17:45

Re: Strašlivě pomalé Hyper-V

Cau, take se priklanim k VMQ. Minuly tyden jsem to tez resil. U me byl pomaly ping na VM a nekdy se sit odpojila uplne. Co jsem tak vycetl na forech, tak je to problem WIN 2012 (R2) a ovladacu k Broadcom sitovkam. Mel jsem tam driver 16.2 nyni uz 16.6. Ale i tam jsem vypnul VMQ na sitovkach, virtual switchy a u VM v sekci Network.
Dale jsem prepnul load balancing mod v NIC teamingu z Dynamic na Hyper-v.
mateo on 5.12.2014 17:52

Re: Strašlivě pomalé Hyper-V

Cau, take se priklanim k VMQ. Minuly tyden jsem to tez resil. U me byl pomaly ping na VM a nekdy se sit odpojila uplne. Co jsem tak vycetl na forech, tak je to problem WIN 2012 (R2) a ovladacu k Broadcom sitovkam. Mel jsem tam driver 16.2 nyni uz 16.6. Ale i tam jsem vypnul VMQ na sitovkach, virtual switchy a u VM v sekci Network.
Dale jsem prepnul load balancing mod v NIC teamingu z Dynamic na Hyper-v.
mateo on 5.12.2014 22:06

sitovka

my mivali problem s HyperV+Broadcom sitovka uz ve Win2008+HyperV1. nahradili jsme vsechny Intel sitovkami.
VasekB on 5.12.2014 23:10

RE: nikdo

Pouzivame Dell Compellent na 10G metalice. Znovu opakuji, ze na Hyper-V serveru jsou odezvy v poradku, v radu jednotek ms.
Zakaznik on 6.12.2014 1:53

Re: Strašlivě pomalé Hyper-V

to Zakaznik : no vsak. Nam take Hyper-v jelo pod 1ms, ale VM na nem byly postizene ;-)
mate22 on 6.12.2014 12:44

rejpal

Tusim ze nejvic to bylo videt z fyzického stroje směrem dovirtuálu...po virtuálkách to šlapalo pěkně.
VMQ on 7.12.2014 21:26

Re: Strašlivě pomalé Hyper-V

KB2902166, mame tiez problemy so sietovkami Broadcom
runco on 8.12.2014 15:54

Re: Strašlivě pomalé Hyper-V

díky všem, všechno co jste nabízeli jsme vyzkoušeli. problém je v tom, že se ten konkrétní masivní zátuh už pořádně neopakoval kromě několika málo chvilek. Podivné...
ondass on 11.12.2014 9:49

Re: Strašlivě pomalé Hyper-V

Sice to už neřešíte, ale podělím se o to, co jsem našel, když jsem to řešil v roce 2012 po první instalaci WinSrv 2012 Hyper-V clusteru (totožný problém - HPV cluster + iSCSI Dell MD3220i)

http://technet.microsoft.com/en-us/library/gg162696%28v=ws.10%29.aspx

http://www.dell.com/downloads/global/power/ps1q10-20100101-Chaudhary.pdf
Vilem on 6.1.2015 9:47

Add Comment

Title


Pole Title nemusíte vyplňovat, doplní se to samo na stejnou hodnotu jako je nadpis článku.

Author *


Pole Author nesmí být stejné jako pole Title! Mám to tu jako ochranu proti spamu. Roboti to nevyplní dobře :-)

Body *


Type number two as digit *


Semhle vyplňte číslici dvě. Předchozí antispemové pole nefunguje úplně dokonale, zdá se, že jsou i spamery, které pochopily, že je občas potřeba vyplnit autora :-)

Email


Emailová adresa, pokud na ni chcete ode mě dostat odpověď. Nikdo jiný než já vaši emailovou adresu neuvidí.

Attachments