SunSpider 0.9.1: Тестирование производительности браузеров

Теперь немножко подробнее про SunSpider. SunSpider предназначен для сравнения разных версий одного и того же браузера, или разных браузеров по отношению друг к другу.  По свидетельству разработчиков бенчмарка, компании Apple, основные отличия SunSpider от других широко доступных бенчмарк-тестов JavaScript следующие:

1. SunSpider отражает реальное положение вещей. Этот тест, как правило, избегает микробенчмарк-тестов, пытаясь фокусироваться как на актуальных проблемах, решаемых JavaScript-разработчиками сегодня, так и на проблемах, за которые им придется взяться в ближайшем будущем, - когда браузеры будут обрабатывать Java-скрипты быстрее.
2. SunSpider включает тесты JSON, 3D raytracer, тесты криптографии, распаковки кода и многие другие. SunSpider также включает несколько микробенчмарк-тестов, но они включены для тестирования реальных проблем, связанных с производительностью, с которыми столкнулись разработчики веб-браузеров.
3. Сбалансированность SunSpider. Этот тест сбалансирован между различными языками программирования и различными типами кода. Дополнительно включены тесты в различных категориях, при этом индивидуальные тесты были сбалансированы таким образом, чтобы по возможности продолжительность теста была одинаковой на актуальных версиях всех популярных браузеров.
4. Статистическая надежность и повторяемость результатов. Всем известно, что одной из проблем бенчмарк-тестов является большая погрешность в измерениях, которая дает значительный разброс результатов. SunSpider «прогоняет» каждый тест несколько раз и определяет диапазон ошибок (error range), при этом доверительный интервал (confidence interval) составляет 95%.

Методика тестирования.
Пользователь переходит по ссылке на специальную страницу. Скрипт запускается автоматически и работает какое-то время. Затем пользователь попадает на страницу результатов, где в таблице показано время исполнения каждого из тестов а также сумарное время исполнения всех тестов. Далее пользователь заходит по тойже ссылке с другого браузера, дожидается выполнения тестов и попадает на страницу результатов. Затем он копирует данные о тесте из второго браузера и вставляет в результаты тестов первого браузера (незабыв нажать ентер) и пользователю показывается уже сравнительная таблица.

Наглядный пример. Давайте рассмотрим тестирование FireFox 3.5.8 и Safari 4.0.3 (5531.9) на MacOS X 10.5.7.

• Запускаем FireFox
  
• Открываем страницу тестирования SunSpider.
• Ждее-ее-е-м...
• Смотрим результат.
• Затем запускаем Safari.
• Открываем туже страницу тестирования SunSpider.
• Смотрим результат тестирования производительности Safari.
• Вставляем эту ссылку в поле для сравнения в Firefox и жмем Enter.
• Получаем сравнительную табличку производительности Firefox VS Safari

Из всего этого стоит отметить строчку:

*2.14x as slow*   577.1ms +/- 0.6%   1234.2ms +/- 8.2%

Что означает, что Firefox 3.5.8 более чем в два раза медленнее Safari. Таким же образом можно протестировать любой браузер по отношению к любому браузеру.

Инструмент для тестирования бесплатный - пользуйтесь на здоровье.