Teste de benchmark de virtualização: introdução
Ambientes de virtualização têm sido commodities quentes para o usuário Mac desde que a Apple começou a usar processadores Intel em seus computadores. Mesmo antes da Intel chegar, estava disponível um software de emulação que permitia aos usuários do Mac rodar Windows e Linux.
Mas a emulação era lenta, usando uma camada de abstração para traduzir o código de programação x86 para o código usado pela arquitetura PowerPC dos Macs anteriores. Essa camada de abstração não só precisou ser traduzida para o tipo de CPU, mas também para todos os componentes de hardware. Em essência, a camada de abstração tinha que criar softwares equivalentes de placas de vídeo, discos rígidos, portas seriais, etc. O resultado era um ambiente de emulação que podia rodar Windows ou Linux, mas era severamente restrito tanto no desempenho quanto nos sistemas operacionais. usava.
Com o advento da decisão da Apple de usar processadores Intel, toda a necessidade de emulação foi eliminada. Em seu lugar veio a capacidade de executar outros sistemas operacionais diretamente em um Mac Intel. Na verdade, se você quiser executar o Windows diretamente em um Mac como uma opção na inicialização, você pode usar o Boot Camp, um aplicativo que a Apple fornece como uma maneira prática de instalar o Windows em um ambiente de inicialização múltipla.
Mas muitos usuários precisam de uma maneira de executar o Mac OS e um segundo sistema operacional simultaneamente. Parallels e, posteriormente, VMWare e Sun, trouxeram esse recurso para o Mac com tecnologia de virtualização. A virtualização é semelhante em conceito à emulação, mas como os Macs baseados em Intel usam o mesmo hardware dos PCs padrão, não há necessidade de criar uma camada de abstração de hardware no software. Em vez disso, o software Windows ou Linux pode ser executado diretamente no hardware, produzindo velocidades que podem ser quase tão rápidas quanto se o sistema operacional convidado estivesse sendo executado nativamente em um PC.
E essa é a pergunta que nossos testes de benchmarks procuram responder. Os três principais participantes da virtualização no Mac - Parallels Desktop para Mac, VMWare Fusion e Sun VirtualBox - cumprem a promessa de desempenho quase nativo?
Nós dizemos "nativo inexperiente" porque todos os ambientes de virtualização têm alguma sobrecarga que não pode ser evitada. Como o ambiente virtual está sendo executado ao mesmo tempo que o sistema operacional nativo (OS X), é necessário compartilhar recursos de hardware. Além disso, o OS X precisa fornecer alguns serviços ao ambiente de virtualização, como janelas e serviços principais. A combinação desses serviços e compartilhamento de recursos tende a limitar o desempenho do SO virtualizado.
Para responder à pergunta, vamos realizar testes de benchmark para ver como os três principais ambientes de virtualização se comportam com o Windows.
02 de 07Teste de benchmark de virtualização: método de teste
Vamos usar dois conjuntos de testes de benchmark de plataforma diferentes e populares. O primeiro, o CineBench 10, realiza um teste real do CPU de um computador e a capacidade da sua placa gráfica de renderizar imagens. O primeiro teste usa a CPU para renderizar uma imagem fotorrealista, usando cálculos intensivos de CPU para renderizar reflexões, ocultação de ambientes, iluminação e sombreamento de áreas e muito mais. O teste é realizado com uma única CPU ou núcleo e, em seguida, repetido usando todos os processadores e núcleos disponíveis. O resultado produz uma classificação de desempenho de referência para o computador usando um único processador, uma classificação para todos os processadores e núcleos e uma indicação de como vários núcleos ou CPUs são utilizados.
O segundo teste do CineBench avalia o desempenho da placa gráfica do computador usando o OpenGL para renderizar uma cena 3D enquanto uma câmera se move dentro da cena. Este teste determina a rapidez com que a placa gráfica pode executar enquanto renderiza a cena com precisão.
O segundo conjunto de testes é o GeekBench 2.1.4, que testa o número inteiro e o desempenho de ponto flutuante do processador, testa a memória usando um teste de desempenho de leitura / gravação simples e executa um teste de fluxo que mede a largura de banda da memória. Os resultados do conjunto de testes são combinados para produzir uma única pontuação do GeekBench. Também vamos dividir os quatro conjuntos de testes básicos (Integer Performance, Floating-Point Performance, Memory Performance e Stream Performance), para que possamos ver os pontos fortes e fracos de cada ambiente virtual.
O GeekBench usa um sistema de referência baseado em um PowerMac G5 de 1,6 GHz. As pontuações do GeekBench para os sistemas de referência são normalizadas para 1000. Qualquer pontuação acima de 1000 indica um computador com desempenho melhor do que o sistema de referência.
Como os resultados de ambos os conjuntos de benchmark são um pouco abstratos, começaremos definindo um sistema de referência. Nesse caso, o sistema de referência será o Mac host usado para executar os três ambientes virtuais (Parallels Desktop para Mac, VMWare Fusion e Sun Virtual Box). Todos os conjuntos de benchmark serão executados no sistema de referência e usados para comparar o desempenho dos ambientes virtuais.
Todos os testes serão realizados após uma nova inicialização do sistema host e do ambiente virtual. O host e os ambientes virtuais terão todos os aplicativos anti-malware e antivírus desativados. Todos os ambientes virtuais serão executados dentro de uma janela padrão do OS X, já que esse é o método mais comum usado nos três ambientes. No caso dos ambientes virtuais, nenhum aplicativo do usuário será executado além dos benchmarks.No sistema host, com exceção do ambiente virtual, nenhum aplicativo do usuário será executado, a não ser um editor de texto, para fazer anotações antes e depois do teste, mas nunca durante o processo de teste real.
03 de 07Teste de benchmark de virtualização: resultados de benchmark para o Host System Mac Pro
O sistema que hospedará os três ambientes virtuais (Parallels Desktop para Mac, VMWare Fusion e Sun VirtualBox) é uma edição de 2006 de um Mac Pro:
Mac Pro (2006)
Dois processadores dual-core 5160 Zeon (4 núcleos no total) a 3.00 GHz
4 MB por núcleo de cache L2 RAM (16 MB no total)
6 GB de RAM consistindo em quatro módulos de 1 GB e quatro módulos de 512 MB. Todos os módulos são pares combinados.
Um barramento frontal de 1,33 GHz
Uma placa gráfica NVIDIA GeForce 7300 GT
Dois discos rígidos Samsung F1 Series de 500 GB. O OS X e o software de virtualização residem na unidade de inicialização; os sistemas operacionais convidados são armazenados na segunda unidade. Cada unidade possui seu próprio canal SATA 2 independente.
Os resultados dos testes GeekBench e CineBench no host Mac Pro devem fornecer o limite máximo de desempenho que devemos ver em qualquer um dos ambientes virtuais. Dito isso, queremos ressaltar que é possível que um ambiente virtual exceda o desempenho do host em um único teste. O ambiente virtual pode acessar o hardware subjacente e ignorar algumas camadas do SO do OS X. Também é possível que os conjuntos de testes de referência sejam enganados pelo sistema de armazenamento em cache de desempenho integrado nos ambientes virtuais e produzam resultados que estão muito além do desempenho realmente possível.
Pontuação de benchmark
GeekBench 2.1.4
GeekBench Pontuação: 6830
Número Inteiro: 6799
Ponto flutuante: 10786
Memória: 2349
Fluxo: 2057
CineBench R10
Renderização, CPU Único: 3248
Renderização, 4 CPU: 10470
Velocidade efetiva de um único para todos os processadores: 3.22
Shading (OpenGL): 3249
Os resultados detalhados dos testes de benchmark estão disponíveis na galeria Teste de benchmark de virtualização.
04 de 07Teste de benchmark de virtualização: resultados de benchmark para o Parallels Desktop for Mac 5
Usamos a versão mais recente do Parallels (Parallels Desktop for Mac 5.0). Instalamos novas cópias do Parallels, do Windows XP SP3 e do Windows 7. Escolhemos esses dois sistemas operacionais Windows porque achamos que o Windows XP representa a grande maioria das instalações atuais do Windows no OS X e que, no futuro, o Windows 7 será o sistema operacional convidado mais comum executado no Mac.
Antes do início do teste, verificamos e instalamos todas as atualizações disponíveis para o ambiente virtual e os dois sistemas operacionais Windows. Depois que tudo estava atualizado, configuramos as máquinas virtuais do Windows para usar um único processador e 1 GB de memória. Fechamos o Parallels e desativamos o Time Machine e qualquer item de inicialização no Mac Pro não é necessário para o teste. Em seguida, reiniciamos o Mac Pro, lançamos o Parallels, iniciamos um dos ambientes do Windows e executamos os dois conjuntos de testes de benchmark. Depois que os testes foram concluídos, copiamos os resultados para o Mac para referência posterior.
Em seguida, repetimos a reinicialização e o lançamento do Parallels para os testes de benchmark do segundo sistema operacional Windows.
Finalmente, repetimos a seqüência acima com o sistema operacional convidado configurado para usar 2 e, em seguida, 4 CPUs.
Pontuação de benchmark
GeekBench 2.1.4
Windows XP SP3 (1,2,4 CPU): 2185, 3072, 4377
Windows 7 (1,2,4 CPU): 2223, 2980, 4560
CineBench R10
Windows XP SP3
Renderização (1,2,4 CPU): 2724, 5441, 9644
Sombreamento (OpenGL) (1,2,4 CPU): 1317, 1317, 1320
CineBench R10
Windows 7
Renderização (1,2,4 CPU): 2835, 5389, 9508
Shading (OpenGL) (1,2,4 CPU): 1335, 1333, 1375
O Parallels Desktop for Mac 5.0 concluiu com êxito todos os testes de benchmark. O GeekBench viu apenas pequenas diferenças no desempenho entre o Windows XP e o Windows 7, que é o que esperávamos. O GeekBench se concentra em testar o desempenho do processador e da memória, por isso esperamos que seja um bom indicador do desempenho subjacente do ambiente virtual e como ele torna o hardware do Mac Pro host disponível para os sistemas operacionais convidados.
O teste de renderização do CineBench também mostrou consistência entre os dois sistemas operacionais Windows. Mais uma vez, isso é de se esperar, uma vez que o teste de renderização faz uso extensivo dos processadores e da largura de banda da memória, conforme visto pelos sistemas operacionais convidados. O teste de sombreamento é um bom indicador de quão bem cada ambiente virtual implementou seu driver de vídeo. Ao contrário do restante do hardware do Mac, a placa gráfica não é disponibilizada diretamente para os ambientes virtuais. Isso ocorre porque a placa gráfica deve cuidar continuamente da exibição do ambiente do host e não pode ser desviado para exibir apenas o ambiente do convidado. Isso é verdade mesmo que o ambiente virtual ofereça uma opção de exibição em tela cheia.
Os resultados detalhados dos testes de benchmark estão disponíveis na galeria Teste de benchmark de virtualização.
05 de 07Teste de benchmark de virtualização: resultados de benchmark para o VMWare Fusion 3.0
Nós usamos a última versão do VMWare Fusion (Fusion 3.0). Instalamos novas cópias do Fusion, do Windows XP SP3 e do Windows 7. Escolhemos esses dois sistemas operacionais Windows porque acreditamos que o Windows XP representa a grande maioria das instalações atuais do Windows no Mac OS X e que, no futuro, o Windows 7 será o sistema operacional convidado mais comum executado no Mac.
Antes do início do teste, verificamos e instalamos as atualizações disponíveis para o ambiente virtual e os dois sistemas operacionais Windows. Depois que tudo estava atualizado, configuramos as máquinas virtuais do Windows para usar um único processador e 1 GB de memória.Fechamos o Fusion e desativamos o Time Machine e qualquer item de inicialização no Mac Pro não é necessário para o teste. Em seguida, reiniciamos o Mac Pro, iniciamos o Fusion, iniciamos um dos ambientes do Windows e executamos os dois conjuntos de testes de benchmark. Depois que os testes foram concluídos, copiamos os resultados para o Mac para uso posterior.
Em seguida, repetimos a reinicialização e o lançamento do Fusion para os testes de benchmark do segundo sistema operacional Windows.
Finalmente, repetimos a seqüência acima com o sistema operacional convidado configurado para usar 2 e, em seguida, 4 CPUs.
Pontuação de benchmark
GeekBench 2.1.4
Windows XP SP3 (1,2,4 CPU): *, 3252, 4406
Windows 7 (1,2,4 CPU): 2388, 3174, 4679
CineBench R10
Windows XP SP3
Renderização (1,2,4 CPU): 2825, 5449, 9941
Shading (OpenGL) (1,2,4 CPU): 821, 821, 827
CineBench R10
Windows 7
Renderização (1,2,4 CPU): 2843, 5408, 9657
Shading (OpenGL) (1,2,4 CPU): 130, 130, 124
Nós tivemos problemas com o Fusion e os testes de benchmark. No caso do Windows XP com um único processador, o GeekBench relatou desempenho de fluxo de memória a uma taxa melhor do que 25 vezes a taxa do host Mac Pro. Esse resultado incomum de memória bateu a pontuação do GeekBench para a versão de CPU única do Windows XP para 8148. Depois de repetir o teste várias vezes e obter resultados semelhantes, decidimos marcar o teste como inválido e considerá-lo um problema de interação entre o teste de referência e o Windows XP. Por melhor que possamos dizer, para a configuração de CPU única, o Fusion não estava reportando a configuração de hardware correta para o aplicativo GeekBench. No entanto, o GeekBench e o Windows XP tiveram um desempenho impecável, com dois ou mais CPUs selecionados.
Também tivemos um problema com o Fusion, o Windows 7 e o CineBench. Quando rodamos o CineBench no Windows 7, ele relatou uma placa de vídeo genérica como o único hardware gráfico disponível. Enquanto a placa gráfica genérica foi capaz de executar o OpenGL, o fez a uma taxa muito baixa. Isso pode ter sido o resultado do host Mac Pro ter uma placa gráfica NVIDIA GeForce 7300 antiga. Os requisitos de sistema do Fusion sugerem uma placa gráfica mais moderna. Achamos interessante, no entanto, que no Windows XP, o teste de sombreamento do CineBench fosse executado sem problemas.
Além das duas peculiaridades mencionadas acima, o desempenho do Fusion estava no mesmo nível do que esperávamos em um ambiente virtual bem projetado.
Os resultados detalhados dos testes de benchmark estão disponíveis na galeria Teste de benchmark de virtualização.
06 de 07Teste de benchmark de virtualização: resultados de benchmark para o Sun VirtualBox
Nós usamos a última versão do Sun VirtualBox (VirtualBox 3.0). Instalamos novas cópias do VirtualBox, do Windows XP SP3 e do Windows 7. Escolhemos esses dois sistemas operacionais Windows porque achamos que o Windows XP representa a grande maioria das instalações atuais do Windows no Mac OS X e que, no futuro, o Windows 7 será o sistema operacional convidado mais comum executado no Mac.
Antes do início do teste, verificamos e instalamos as atualizações disponíveis para o ambiente virtual e os dois sistemas operacionais Windows. Depois que tudo estava atualizado, configuramos as máquinas virtuais do Windows para usar um único processador e 1 GB de memória. Fechamos o VirtualBox e desativamos o Time Machine e qualquer item de inicialização no Mac Pro não é necessário para o teste. Em seguida, reiniciamos o Mac Pro, lançamos o VirtualBox, iniciamos um dos ambientes do Windows e executamos os dois conjuntos de testes de benchmark. Depois que os testes foram concluídos, copiamos os resultados para o Mac para uso posterior.
Em seguida, repetimos a reinicialização e o lançamento do Fusion para os testes de benchmark do segundo sistema operacional Windows.
Finalmente, repetimos a seqüência acima com o sistema operacional convidado configurado para usar 2 e, em seguida, 4 CPUs.
Pontuação de benchmark
GeekBench 2.1.4
Windows XP SP3 (1,2,4 CPU): 2345, *, *
Windows 7 (1,2,4 CPU): 2255, 2936, 3926
CineBench R10
Windows XP SP3
Renderização (1,2,4 CPU): 7001, *, *
Shading (OpenGL) (1,2,4 CPU): 1025, *, *
CineBench R10
Windows 7
Renderização (1,2,4 CPU): 2570, 6863, 13344
Shading (OpenGL) (1,2,4 CPU): 711, 710, 1034
O Sun VirtualBox e nossos aplicativos de teste de banco tiveram um problema com o Windows XP. Especificamente, tanto o GeekBench quanto o CineBench não conseguiram ver mais do que uma única CPU, independentemente de como configuramos o sistema operacional convidado.
Quando testamos o Windows 7 com o GeekBench, percebemos que a utilização de vários processadores era ruim, resultando nas pontuações mais baixas para configurações de 2 e 4 CPUs. O desempenho de processador único parecia estar no mesmo nível dos outros ambientes virtuais.
O CineBench também não conseguiu ver mais de um único processador ao executar o Windows XP. Além disso, o teste de renderização da versão de CPU única do Windows XP produziu um dos resultados mais rápidos, superando até mesmo o próprio Mac Pro. Nós tentamos executar o teste algumas vezes; todos os resultados estavam dentro do mesmo intervalo. Acreditamos ser seguro incluir os resultados de renderização de CPU única do Windows XP em um problema com o VirtualBox e como ele faz uso de CPUs.
Também vimos um estranho aumento na renderização de 2 e 4 testes de CPU com o Windows 7. Em cada caso, a renderização mais que dobrou em velocidade ao passar de 1 para 2 CPUs e de 2 para 4 CPUs. Esse tipo de aumento de desempenho é improvável e, mais uma vez, vamos atribuí-lo à implementação de várias CPUs do VirtualBox.
Com todos os problemas com o teste de benchmark do VirtualBox, os únicos resultados de teste válidos podem ser os únicos para uma única CPU no Windows 7.
Os resultados detalhados dos testes de benchmark estão disponíveis na galeria Teste de benchmark de virtualização.
07 de 07Teste de benchmark de virtualização: os resultados
Com todos os testes de benchmark realizados, é hora de rever nossa pergunta original.
Os três principais participantes da virtualização no Mac (Parallels Desktop para Mac, VMWare Fusion e Sun VirtualBox) cumprem a promessa de desempenho quase nativo?
A resposta é uma sacola misturada. Nenhum dos candidatos à virtualização em nossos testes GeekBench foi capaz de medir o desempenho do host Mac Pro. O melhor resultado foi registrado pela Fusion, que conseguiu atingir quase 68,5% do desempenho do anfitrião. Parallels estava logo atrás, com 66,7%. Atrás da retaguarda foi o VirtualBox, com 57,4%.
Quando analisamos os resultados do CineBench, que usa um teste mais real para renderizar imagens, eles ficaram muito próximos da pontuação do host. Mais uma vez, o Fusion estava no topo dos testes de renderização, alcançando 94,9% do desempenho do host. Parallels seguiu 92,1%. O VirtualBox não pôde concluir o teste de renderização de maneira confiável, tirando-o da disputa. Em uma iteração do teste de renderização, o VirtualBox relatou que ele foi 127,4% melhor que o host, enquanto em outros, não foi possível iniciar ou terminar.
O teste de sombreamento, que analisa o desempenho da placa gráfica usando o OpenGL, foi o pior entre todos os ambientes virtuais. O melhor desempenho foi o Parallels, que atingiu 42,3% das capacidades do host. O VirtualBox ficou em segundo lugar em 31,5%; Fusão veio em terceiro em 25,4%.
Escolher um vencedor geral é algo que deixaremos para o usuário final. Cada produto tem suas vantagens e desvantagens e, em muitos casos, os números de referência são tão próximos que a repetição dos testes pode alterar a classificação.
O que os resultados dos testes de benchmark mostram é que, universalmente, a capacidade de fazer uso da placa gráfica nativa é o que impede que o ambiente virtual seja um substituto completo de um PC dedicado. Dito isto, uma placa de vídeo mais moderna do que a que temos aqui poderia produzir números de desempenho mais altos no teste de sombreamento, especialmente para a Fusion, cujo desenvolvedor sugere placas gráficas de maior desempenho para obter melhores resultados.
Você observará que algumas combinações de teste (ambiente virtual, versão do Windows e teste de benchmark) exibiram problemas, resultados irreais ou falha ao concluir um teste. Esses tipos de resultados não devem ser usados como indicadores de problemas em um ambiente virtual. Os testes de benchmark são aplicativos incomuns para tentar executar em um ambiente virtual. Eles são projetados para medir o desempenho de dispositivos físicos, que o ambiente virtual pode não permitir o acesso. Isso não é uma falha do ambiente virtual e, no uso no mundo real, não tivemos problemas com a grande maioria dos aplicativos do Windows executados em um sistema virtual.
Todos os ambientes virtuais que testamos (Parallels Desktop para Mac 5.0, VMWare Fusion 3.0 e Sun VirtualBox 3.0) fornecem bom desempenho e estabilidade no uso diário e devem servir como seu ambiente principal do Windows para a maioria das tarefas do dia-a-dia. aplicações.
