Предисловие   

Содержание:

0.1. Введение

0.2. Основные рекомендации по реализации

0.3. Основные рекомендации по измерениям

Контрольный тест TPCTM E (TPC-E) представляет собой объем работ по обработке транзакций в реальном времени (Online Transaction Processing (OLTP)). Он состоит из набора транзакций чтения и обновления информации, который имитирует действия, существующие в активных OLTP средах. Структура базы данных, типы данных, транзакции и правила реализации спроектированы таким образом, чтобы полноценно отображать современные OLTP системы Контрольное тестирование осуществляет нагрузку на список системных компонент, привязанных к окружениям, характеризуемым следующим:

• Одновременное выполнение множества типов транзакций, что увеличивает уровень сложности;

• Умеренное время выполнения системных и прикладных задач;

• Сбалансированное сочетание операций дискового ввода/вывода и использования процессора;

• Интегрирование транзакций (со свойствами ACID);

• Неоднородное распределение доступа к данным с использованием основных и вторичных ключей;

• Базы данных, состоящие из большого количества таблиц с широким диапазоном размеров, атрибутов и отношений;

• Одновременное обновление и доступ к данным;

Операции TPC-E моделируются следующим образом:

• База данных непрерывно доступна 24 часа в день, 7 дней в неделю для обработки данных в нескольких Сессиях и изменения данных во всех таблицах, за исключением, возможно, нечастых (примерно раз в месяц) Сессий обслуживания.

• Ввиду общемирового использования приложений, моделируемых контрольным тестированием TPC-E, любая транзакция может быть выполнена по отношению к любой базе данных в любое время, в особенности по отношению друг к другу.

0.1.1. Цель тестирования TPC-E

Контрольное тестирование TPC-E имитирует OLTP процессы брокерской фирмы. Операции тестирования сконцентрированы на центральной базе данных, которая выполняет транзакции, связанные с учётными данными клиентов фирмы. Придерживаясь цели оценки характеристик производительности системы базы данных, тестирование не стремится оценить общий поток данных между множеством прикладных систем, которые существуют в реальном окружении

Сочетание и разнообразие транзакций, выполняемых в тестируемой системе, рассчитано на оценку характерных компонент сложной системы. Для имитации взаимодействия фирмы как с клиентами, так и с деловыми партнёрами, определены различные типы транзакций. Различные типы транзакций имеют различные требования к рабочему циклу.

Тестирование определяет:

• Два типа транзакций для имитации отношений Клиент-Бизнес и Бизнес-Бизнес.
• Несколько транзакций для каждого типа.
• Различные параметры выполнения для каждого типа транзакций.
• Конкретное сочетание в рабочем цикле всех описываемых транзакций

К примеру, база данных будет одновременно выполнять транзакции, созданные системами, взаимодействующими с клиентами, вместе с транзакциями, созданными системами, взаимодействующими с финансовыми рынками и административными системами.

Система тестирования будет взаимодействовать с набором Драйверов, которые имитируют различные источники транзакций без необходимости реализации тестирования сложного окружения.

Оценка производительности, отображаемая TPC-E, является показателем «бизнес-производительности», измеряющим число транзакций Trade-Result, обработанных в секунду (см. Пункт 6.7.1). Сочетание множества Транзакций используется для имитации бизнес процессов по обработке торгов, и для каждой Транзакции устанавливается ограничение на Время отклика. Оценка производительности для теста выражается в количестве транзакций в секунду в тесте TPC-E (tpsE). Для соответствия стандартам TPC-E, все ссылки на результаты TPC-E должны содержать оценку tpsE, отношение цена/tpsE, и дату, когда оцененная конфигурация (см. Пункт 6.7.3 для более подробной информации) будет доступна.

Хотя эти спецификации описывают реализацию с использованием реляционной модели данных, база данных может быть реализована с использованием любой коммерчески доступной системы управления базами данных (СУБД), сервера баз данных, файловой системы или другого хранилища данных, предоставляющего функционально эквивалентную реализацию Понятия «таблица», «ряд», «столбец» используются в этом документе лишь как примеры логических структур данных

TPC-E использует терминологию и единицы измерения, схожие с другими контрольными тестами, созданными TPC или прочими организациями. Такое сходство ни в коем случае не означает, что результаты TPC-E сопоставимы с результатами других тестов. Единственные результаты тестов, сравнимые с результатами TPC-E – это результаты других тестов TPC-E соответствующей версии спецификации.

0.1.2 Ограничения

Несмотря на факт того, что этот тест предоставляет богатую среду для эмулирования OLTP приложений, он не отображает всех требований к OLTP. Вдобавок, мера, на которую покупатель может приблизиться к отчётным результатам, предоставляемым поставщиком, во многом зависит от того, насколько сильно TPC-E приближен к приложению пользователя Относительные результаты производительности, полученные в этом тестировании, необязательно соответствуют другим нагрузкам или средам. Экстраполяция на любые прочие среды не рекомендована.

Результаты тестирования во многом зависят от объемов работ, специфичных требований приложений и проекта и реализации системы. Относительная производительность систем будет изменяться под влиянием этих и других факторов. По этой причине TPC-Е не должен быть использован в качестве замены тестирования конкретным пользовательским приложением, особенно в случае рассмотрения задач планирования критической мощности и/или оценки продукта.

Организаторам теста дозволено использовать реализацию нескольких допустимых проектов систем, до тех пор, пока они следуют модели, описанной и графически изображенной в этой спецификации. Как указано в Пункте 9.1, с отчётными результатами тестирования должен быть предоставлен полный отчёт описания деталей реализации
Примечание: будучи отделенными от основного текста для читаемости, примечания, однако, являются частью стандарта и также должны применяться.

0.2. Основные рекомендации по реализации

Целью тестов TPC является предоставление верных, объективных данных о производительности для пользователей в индустрии. Для достижения этой цели, спецификации тестов TPC устанавливают требование, что контрольные тесты должны быть использованы в применении к системам, продуктам, технологиям и оценочным стоимостям, которые:

• свободно доступны для пользователей.

• соответствуют сегменту рынка, моделируемому или представляемому конкретным тестом TPC (например, TPC-E моделирует и представляет сложные OLTP среды баз данных больших объемов).

• будут, вероятно, применены значительным числом пользователей в сегменте рынка, моделируемом или представляемом тестом.

Использование новых систем, продуктов и технологий (оборудования или программного обеспечения) одобряется до тех пор, пока они соответствуют требованиям, описанным выше. Конкретно запрещено использование тестовых систем, продуктов, технологий, стоимостей, основной целью которых является оптимизация тестов TPC без какой-либо соответствующей применяемости к реальным приложениям и средам. Другими словами, все реализации «специально для тестов», которые улучшают результаты тестирования, но не реальную производительность или стоимость реализации, запрещены.

Для определения того, что конкретная реализация является настроенной специально для тестирования, необходимо воспользоваться нижеследующими характеристиками. Не обязательно должно быть выполнено каждое требование, указанное ниже, но для определения неприемлемой реализации следует рассматривать суммарную значимость признаков. Абсолютная уверенность или уверенность сверх разумного сомнения не является необходимостью для принятия решения в этом вопросе. Вопрос, на который необходимо ответить, таков: опираясь на доступные признаки, можно ли сказать, что абсолютное большинство (большей значимости или количества) признаков указывает на то, что данная реализация является созданной специально для тестирования?

Для определения того, что конкретная реализация является настроенной специально для тестирования, необходимо воспользоваться следующими характеристиками:

• Является ли реализация общедоступной, документированной и поддерживаемой?

• Содержит ли реализация значительные ограничения к использованию, которые ограничивают возможности ее использования вне тестов TPC?

• Является ли реализация или ее часть недостаточно внедренной в более крупный продукт?

• Использует ли реализация для повышения производительности особенность ограниченной сути тестов TPC (например, профили транзакций, сочетание транзакций, конкуренция между транзакциями или их изоляция) в таком применении, в котором оно не использовалось бы в среде, отображаемой тестированием?

• Использование реализации не одобрено поставщиком? (Это включает невозможность популяризировать такой тип реализации на том же уровне, что и другие продукты и технологии)

• Реализация требует исключительного, нечасто встречающегося опыта со стороны конечного пользователя, программиста или системного администратора?

• Является ли цена необычной или неизменяемой для поставщика или необычной или неизменяемой с точки зрения обычной бизнес-практики? Для дополнительной информации обратитесь к актуальной версии «Спецификации оценочной стоимости» TPC.

• Используется (включая бета-версии) или приобретается ли данная реализация конечными пользователями в сегменте рынка, представляемом тестом? Каким количеством? В каком количестве областей? Если реализация в данный момент не используется конечными пользователями, что может служить признаком того, что она будет использоваться сколь-нибудь значительным количеством пользователей?

0.3. Основные рекомендации по измерениям

Результаты тестов TPC должны представлять точную характеристику производительности системы. Следовательно, существуют некоторые рекомендации, которых следует придерживаться, измеряя эти характеристики. Подход или методология подробно описана в спецификации.

• Подходом называется принятый инженерный стандарт или практика.

• Подход не улучшает результат.

• Оборудование, используемое в измерении, калибруется согласно установленным стандартам качества.

• При описании любых аномалий в результатах следует соблюдать точность и беспристрастность, даже если таковые не описаны в требованиях тестирования.

Использование новых систем, продуктов и технологий (комплектующих или программного обеспечения) одобряется до тех пор, пока они соответствуют требованиям, описанным выше.