Предисловие |
Содержание: 0.2. Основные рекомендации по реализации 0.3. Основные рекомендации по измерениям
0.1. Введение Контрольный тест TPCTM E (TPC-E) представляет собой объем работ по обработке транзакций в реальном времени (Online Transaction Processing (OLTP)). Он состоит из набора транзакций чтения и обновления информации, который имитирует действия, существующие в активных OLTP средах. Структура базы данных, типы данных, транзакции и правила реализации спроектированы таким образом, чтобы полноценно отображать современные OLTP системы Контрольное тестирование осуществляет нагрузку на список системных компонент, привязанных к окружениям, характеризуемым следующим:
Операции TPC-E моделируются следующим образом:
0.1.1. Цель тестирования TPC-E Контрольное тестирование TPC-E имитирует OLTP процессы брокерской фирмы. Операции тестирования сконцентрированы на центральной базе данных, которая выполняет транзакции, связанные с учётными данными клиентов фирмы. Придерживаясь цели оценки характеристик производительности системы базы данных, тестирование не стремится оценить общий поток данных между множеством прикладных систем, которые существуют в реальном окружении Сочетание и разнообразие транзакций, выполняемых в тестируемой системе, рассчитано на оценку характерных компонент сложной системы. Для имитации взаимодействия фирмы как с клиентами, так и с деловыми партнёрами, определены различные типы транзакций. Различные типы транзакций имеют различные требования к рабочему циклу. Тестирование определяет:
К примеру, база данных будет одновременно выполнять транзакции, созданные системами, взаимодействующими с клиентами, вместе с транзакциями, созданными системами, взаимодействующими с финансовыми рынками и административными системами. Система тестирования будет взаимодействовать с набором Драйверов, которые имитируют различные источники транзакций без необходимости реализации тестирования сложного окружения. Оценка производительности, отображаемая TPC-E, является показателем «бизнес-производительности», измеряющим число транзакций Trade-Result, обработанных в секунду (см. Пункт 6.7.1). Сочетание множества Транзакций используется для имитации бизнес процессов по обработке торгов, и для каждой Транзакции устанавливается ограничение на Время отклика. Оценка производительности для теста выражается в количестве транзакций в секунду в тесте TPC-E (tpsE). Для соответствия стандартам TPC-E, все ссылки на результаты TPC-E должны содержать оценку tpsE, отношение цена/tpsE, и дату, когда оцененная конфигурация (см. Пункт 6.7.3 для более подробной информации) будет доступна. Хотя эти спецификации описывают реализацию с использованием реляционной модели данных, база данных может быть реализована с использованием любой коммерчески доступной системы управления базами данных (СУБД), сервера баз данных, файловой системы или другого хранилища данных, предоставляющего функционально эквивалентную реализацию Понятия «таблица», «ряд», «столбец» используются в этом документе лишь как примеры логических структур данных TPC-E использует терминологию и единицы измерения, схожие с другими контрольными тестами, созданными TPC или прочими организациями. Такое сходство ни в коем случае не означает, что результаты TPC-E сопоставимы с результатами других тестов. Единственные результаты тестов, сравнимые с результатами TPC-E – это результаты других тестов TPC-E соответствующей версии спецификации. 0.1.2 Ограничения Несмотря на факт того, что этот тест предоставляет богатую среду для эмулирования OLTP приложений, он не отображает всех требований к OLTP. Вдобавок, мера, на которую покупатель может приблизиться к отчётным результатам, предоставляемым поставщиком, во многом зависит от того, насколько сильно TPC-E приближен к приложению пользователя Относительные результаты производительности, полученные в этом тестировании, необязательно соответствуют другим нагрузкам или средам. Экстраполяция на любые прочие среды не рекомендована. Результаты тестирования во многом зависят от объемов работ, специфичных требований приложений и проекта и реализации системы. Относительная производительность систем будет изменяться под влиянием этих и других факторов. По этой причине TPC-Е не должен быть использован в качестве замены тестирования конкретным пользовательским приложением, особенно в случае рассмотрения задач планирования критической мощности и/или оценки продукта. Организаторам теста дозволено использовать реализацию нескольких допустимых проектов систем, до тех пор, пока они следуют модели, описанной и графически изображенной в этой спецификации. Как указано в Пункте 9.1, с отчётными результатами тестирования должен быть предоставлен полный отчёт описания деталей реализации 0.2. Основные рекомендации по реализации Целью тестов TPC является предоставление верных, объективных данных о производительности для пользователей в индустрии. Для достижения этой цели, спецификации тестов TPC устанавливают требование, что контрольные тесты должны быть использованы в применении к системам, продуктам, технологиям и оценочным стоимостям, которые:
Использование новых систем, продуктов и технологий (оборудования или программного обеспечения) одобряется до тех пор, пока они соответствуют требованиям, описанным выше. Конкретно запрещено использование тестовых систем, продуктов, технологий, стоимостей, основной целью которых является оптимизация тестов TPC без какой-либо соответствующей применяемости к реальным приложениям и средам. Другими словами, все реализации «специально для тестов», которые улучшают результаты тестирования, но не реальную производительность или стоимость реализации, запрещены. Для определения того, что конкретная реализация является настроенной специально для тестирования, необходимо воспользоваться нижеследующими характеристиками. Не обязательно должно быть выполнено каждое требование, указанное ниже, но для определения неприемлемой реализации следует рассматривать суммарную значимость признаков. Абсолютная уверенность или уверенность сверх разумного сомнения не является необходимостью для принятия решения в этом вопросе. Вопрос, на который необходимо ответить, таков: опираясь на доступные признаки, можно ли сказать, что абсолютное большинство (большей значимости или количества) признаков указывает на то, что данная реализация является созданной специально для тестирования? Для определения того, что конкретная реализация является настроенной специально для тестирования, необходимо воспользоваться следующими характеристиками:
0.3. Основные рекомендации по измерениям
Результаты тестов TPC должны представлять точную характеристику производительности системы. Следовательно, существуют некоторые рекомендации, которых следует придерживаться, измеряя эти характеристики. Подход или методология подробно описана в спецификации.
Использование новых систем, продуктов и технологий (комплектующих или программного обеспечения) одобряется до тех пор, пока они соответствуют требованиям, описанным выше.
|
Статья: Предисловие |
Перейти на главную страницу компании "Софтпоинт" |