Анализ производительности Safari 3 под Windows
Измерение реальной производительности браузера от Apple
11 июня Apple выпустил версию своего OSX браузера Safari 3.0 для Windows, заявив, что это «самый быстрый Windows браузер». Это заявление было сделано на основании тестов, проводимых Apple, на базе бенчмарка iBench сделанного Зифом Дэвисом, который разделяет результаты тестирования производительности HTML, JavaScript и время запуска приложения. Существует бесчисленное множество бенчмарков для проверки производительности, и мы решили проверить соответствует ли заявление Apple действительности.
Подготовка тестирования
Другие тесты прогоняют Safari 3.0 Windows beta через бенчмарки и проверят, как они работают в строго определенных требованиям теста условиях. Мы же были больше заинтересованы в проверке того, как этот браузер работает непосредственно при работе с ним простых пользователей. То есть мы измеряли то, как работает Safari во время работы с веб-страницами, составив для этого несколько испытаний, отличающихся от обычных бенчмарков для браузера.
Какие веб-страницы?
При тестировании Safari 3.0 только на Gmail и Google Maps оказалось, что Safari 3.0 работает медленней, чем Firefox 2 и IE7 под Windows, но тестирование на основе только этих двух сайтов не может показать в полной мере возможностей браузера для всех пользователей. Разумеется, что проверять надо на большем количестве веб-сайтов, но на каких конкретно? Проблема была решена отбором для тестирования шестнадцати англоязычных сайтов, находящихся на первых строчках рейтинга Alexa на 29.08.07. Это позволило протестировать сайты с совершенно разным дизайном, начиная от простейших страниц на DHTML и заканчивая страницами про лицензирование Windows Server, содержащие множество графиков и текста. Подобный подход позволил учесть максимально возможные варианты дизайнов веб-страниц. Большее количество тестируемых веб-страниц, конечно, позволило бы повысить точность, но шестнадцать – это хорошее число для точного и простого тестирования, плюс покрываются одновременно все самые популярные сайты.
yahoo.com
msn.com
google.com
youtube.com
live.com
myspace.com
orkut.com
wikipedia.org
facebook.com
hi5.com
rapidshare.com
blogger.com
medaupload.com
microsoft.com
friendster.com
fotolog.net
Особенности сети
Основной проблемой при тестировании браузера является пропускная способность канала. Она может широко варьироваться, и невозможно точно определить, когда скорость работы низкая из-за загруженности сервера, а когда проблемы, собственно, в браузере. Это проблема может быть каким-то образом решена, если проводить измерения в разное время в течение дня, но это так же не дает совершенных гарантий точности. Сервер может быть слабо загружен во время тестирования одного браузера и потом вдруг неожиданно нагрузка на сервер возрастет, когда будет испытываться другой.
Проблема была решена раздельным как сайтов в Интернете, так и «законсервированных» сайтов. Тестирования для сайтов в Интернете делалось несколько раз и затем выводилось среднее значение.
«Законсервированная» статистика делалась следующим образом: сайт полностью сохранялся на локальный сервер, а затем статистика измерялась уже для локальной сети. Чтобы сделать пропускную способность канала приближенной к реальной, все браузеры работали на канале со скоростью 5 Мбит/сек. К тому же, у нас были две отдельные техники измерения, что позволяет избежать погрешности. Другими словами, разница в работе браузера должна быть одинакова в обеих группах тестов.
Заметьте, что мы не заявляем о том, что эта методика лучше какой-то другой. У нее есть свои недостатки, и она должна восприниматься только как одна из возможных точек зрения при оценке производительности браузера.
