Глава 5 - СИСТЕМА ИЗМЕРЕНИЯ ПРОИЗВОДИТЕЛЬНОСТИ И ВРЕМЕНИ ОТКЛИКА |
|
Содержание: 5.2 Этапы транзакций, выполняемые эмулируемыми пользователями 5.3 Определение Времени Отклика 5.4 Расчет показателей пропускной способности 5.5 Требования к Интервалу измерений
5.1.1 Термин "интервал измерения" подразумевает период устойчивого состояния в течение выполнения теста, для которого лицо, выполняющее тест, сообщает о пропускной способности (см. Пункт 5.5). 5.1.2 Термин «завершенные транзакции» относится ко всем деловым транзакциям (см.пункт 2.1.3), которые были успешно завершены в ТС, их итоговая информация отображена ЭУТ (при выполнении транзакций Новый Заказ, Статус Заказа или Уровень Запасов). При выполнении транзакции Доставка, информация полностью записывается в файл результатов. Транзакции Новый заказ, отмененные в соответствии с пунктом 2.4.1.4, тоже рассматриваются как завершенные транзакции. 5.2 Этапы транзакций, выполняемые эмулируемыми пользователями 5.2.1 Ниже приведен рисунок, который отображает выполняемый каждым пользователем цикл (см. пункт 5.2.2). Активная часть экрана выделена жирным текстом:
5.2.2 Каждый пользователь выполняет цикл, состоящий из экранов, времен ожидания и времени отклика, как представлено ниже:
В конце Времени Обдумывания (стадия 7) пользователь возвращается в начало цикла, чтобы выбрать из меню тип транзакции (стадия 1). Комментарий: Для того чтобы перейти от 7-й стадии к 1-й, ТС не требуется производить каких-либо действий. 5.2.3 Каждый терминал может выбирать любой тип транзакции (т.е., деловой транзакции) посредством меню. Ниже в таблице указан минимальный процент сочетания для каждого типа транзакций, который должен поддерживаться наполнением терминала во время измерений:
Комментарий 1: Смысл минимального процентного соотношения комбинаций транзакций для каждого из их типов состоит в том, чтобы для каждой транзакции Новый Заказ выполнить приблизительно одну транзакцию Оплата, а для каждой десятой транзакции Новый Заказ – приблизительно по одной транзакции Статус Заказа, Доставка и Уровень Запасов. Эти комбинации транзакций имеют значение при полной обработке каждого заказа. Комментарий 2: Общее число транзакций, по которому определяется минимальный процент их комбинаций, может вычисляться одним из двух способов:
5.2.4 Управление соотношением транзакций При поддержании минимального процентного соотношения транзакций на протяжении всего интервала измерений типы транзакций должны выбираться случайно и равномерно. Это должно осуществляться при помощи одной из методик, описанных в пунктах 5.2.4.1 и 5.2.4.2. 5.2.4.1 Важность каждой транзакции указывается в меню. Выбирая каждую новую транзакцию из распределения по важности, мы получаем их требуемое сочетание. При применении данной методики должны выполняться следующие условия:
5.2.4.2 Каждому типу транзакции в Меню принадлежит одна или более карточек. Требуемое сочетание получается путем случайного выбора каждой новой транзакции из картотеки, содержимое которой гарантирует необходимое сочетание. При применении данной техники следует выполнять следующие требования:
Комментарий: Все терминалы должны выбирать транзакции подобным образом. Достигать лучшего качества или соотношения цена/качество путем другого управления отдельным терминалом не разрешается. 5.2.5 Ограничения Времени ожидания и Времени отклика 5.2.5.1 Этап выбора меню не зависит от транзакции. По крайней мере, для 90% всех опций меню Время Отклика (см. пункт 5.3.3) должно быть менее 2 секунд. 5.2.5.2 Для каждого типа транзакции Ключевое Время неизменно и должно составлять минимум 18 секунд для Нового Заказа, 3 секунды – для Оплаты, и по 2 секунды для Статуса Заказа, Доставки и Уровня Запасов. 5.2.5.3 По крайней мере для 90% всех транзакций одного типа Время Отклика (см. пункт 5.3.4) должно быть менее 5 секунд для Нового Заказа, Оплаты, Статуса Заказа и Доставки, и 20 секунд для Уровня Запасов. Комментарий: Общее количество транзакций, из которого вычисляется Время Отклика Нового Заказа, включает в себя отмененные транзакции Новый Заказ, указано в требованиях, приведенных в пункте 2.4.1.4. 5.2.5.4 Для каждого типа транзакций Время обдумывания берется независимо из отрицательного экспоненциального распределения. Время обдумывания Tt, вычисляется по следующей формуле: Tt = -log(r) *
Где: log = natural log (base e) Tt = Время обдумывания r = Случайное число, значение которого равномерно варьируется между 0 и 1 = среднее Время обдумывания Каждое распределение может быть усечено на величину, в 10 раз превышающую его среднее значение. 5.2.5.5Начало всех типов времени ожидания (Время определения и Время обдумывания) должно отсчитываться с того момента, как последний символ ввода был выведен на экран (см. пункт 2.2.2). 5.2.5.6 Одна 90ая доля от Времени Отклика для Нового Заказа, Оплаты, Статуса Заказа, Уровня Запасов и интерактивной части транзакций Доставка должна быть больше или равна среднему времени отклика данной транзакции. Если они отличаются менее, чем на 100 мс (0,1 секунды), они считаются равными. Это требование относится только к конечному времени отклика и не применяется к отложенной транзакции Доставка или к этапу выбора меню. 5.2.5.7 Следующая таблица подводит итог ограничений сочетаний транзакции, времени ожидания и времени отклика:
Комментарий 1: Ограничения Времени Отклика установлены таким образом, что пропускная способность системы будет ограничиваться требованиями ко времени отклика транзакции Новый Заказ. С этой целью ограничения Времени Отклика для других транзакций понижены. Комментарий 2: Ключевые Времена для транзакций выбраны, приблизительно пропорциональными числу введенных знаков, а Время Обдумывания приблизительно пропорциональными числу знаков вывода. 5.2.5.8 Для каждого типа транзакции все конфигурированные терминалы ТС должны использовать одинаково заданное Ключевое Время и одинаково заданное среднее Время Обдумывания. Это время должно соответствовать требованиям, указанным в пункте 5.2.5.7. 5.3 Определение Времени Отклика 5.3.1 Каждая завершенная транзакция, переданная в ТС, должна иметь собственное значение времени. 5.3.2 Время отклика должно измеряться Эмулятором Удаленного Терминала (ЭУТ, англ.Remote Terminal Emulator (RTE)). Время Отклика (RT) определяется по формуле: RT = T2 - T1 Комментарий: Цель данного контрольного измерения – определить Время Отклика, поставив себя на место пользователя. 5.3.3 Меню Времени отклика (Menu RT) - это промежуток времени, измеренный с момента ввода последний символа при выборе пункта Меню, и моментом, когда экран ввода/вывода этот символ получил (включая очистку всех полей ввода и вывода и отображение фиксированных полей, см. пункт 2). Комментарий: Системы, которые не требуют взаимодействия между ТС и ЭУТ при выборе пункта Меню, и экраном допускают незначительную величину Времени отклика меню, а также компоненты, которые обеспечивают реакцию на запросы к Меню (например, банкоматы с экраном) должны быть включены в ТС и, следовательно, иметь установленную цену. 5.3.4 Время отклика транзакции (Transaction RT) – это время от момента, когда последний символ входных данных еще не был отправлен из ЭУТ (См. пункт 2), и до момента времени, когда ЭУТ (см. пункт 2) получил последний символ данных вывода после выполнения транзакции. Комментарий: Если эмулируемый терминал должен обработать введенные или выведенные на экран данные, то время данной процедуры должно быть определено и взято во внимание при расчете Времени Отклика транзакции. 5.4 Расчет показателей пропускной способности Сочетание транзакции TPC-C представляет собой полный бизнес-цикл. Оно состоит из множества транзакций, которые вводят новые заказы, уточняют статус существующих заказов, выполняют отложенные заказы, вводят данные об оплате и контролируют уровень запасов на складе. 5.4.1 Величина, показывающая Максимальную качественную пропускную способность (МКПС) - это число заказов, обработанных за одну минуту. Она является мерой "Деловой пропускной способности", а не скоростью выполнения транзакции. Она, безусловно, учитывает все транзакции в сочетании, так как пропускная способность каждой из них контролируется обдуманностью выбора пункта Меню, а минимальный процент сочетания определен в пункте 5.2.3. 5.4.2 Итоговая Максимальная качественная пропускная способность (MQTh) - это число завершенных транзакций Новый Заказ (см. пункт 5.1.2), Время отклика которых (см. пункт 5.3.4) было полностью измерено ЭУТ во время тестирования, поделенного на величину потраченного времени. Отмененные транзакции Новый Заказ, как сказано в пункте 2.4.1.4, должны быть включены в отчет о МКПС. 5.4.3 МКПС тестируемой системы выражается в tpmC (число транзакций в минуту). 5.4.4 Все заявленные значения МКПС должны быть измерены, а не интерполировать или экстраполировать, а затем округлены до целого значения. Предположим, что мы получили 105.548 tpmC во время тестирования 100 терминалов, для которых 90% транзакций Новый Заказ выполнена менее, чем за 4,8 секунды, а во время тестирования 110 терминалов - 117.572 tpmC, для которых 90% транзакций выполнены менее, чем за 5,2 секунд. Тогда tpmC равна 105. 5.4.5 Чтобы быть точным, интервал измерения должен содержать не более 1% или не более одной транзакции Доставка, пропущенной из-за того, что в таблице Новый Заказ число заказов было менее необходимого. 5.5 Требования к Интервалу измерений 5.5.1 Устойчивое состояние 5.5.1.1 Тест должен проводиться при установившемся режиме, который дает установившееся значение пропускной способности ТС. 5.5.1.2 Несмотря на то, что измерения могут длиться менее 120 минут, необходимо настроит ТС таким образом, чтобы иметь возможность проводить тестирование при заявленной tpmC в течение, по крайней мере, 8 часов без вмешательства оператора, придерживаясь, таким образом, свойств ACID. Например, носители информации, используемые для хранения логов о 8 часах измерения, должны быть настроены таким образом, чтобы можно было восстановить эти данные после любого сбоя системы при тестировании (см.пункт 3.5.3.1). Комментарий 1: Примером конфигурации, которая не соответствовала бы требованиям, может быть такая, у которой лог-файл был бы размещен так, что наилучшая производительность достигалась во время проведения непосредственного тестирования, а не во время периода восьмичасового ожидания. Это может быть, например, из-за того, что изначально использовалось бы некое выделенное устройство, а затем, во время 8 часового ожидания – место на другом носителе информации. Комментарий 2: Легко определить, что состояние устойчиво (например, при стабильной пропускной способности), но это тяжело доказать. Лицо, проводящее тестирование, или аудитор, должно занести в отчет данные о методе, использовавшемся для проверки пропускной способности устойчивого состояния. Аудитора имеет право использовать все доступные инструменты мониторинга для определения устойчивости состояния. Комментарий 3: Некоторые аспекты реализации могут привести к систематическим, хотя и незначительным, колебаниям пропускной способности на протяжении восьмичасового периода. Совокупное влияние таких колебаний может достигать 2% от заявленной величины. Для восьмичасовой операции не существует никаких требований. 5.5.1.3 В случае, когда для достижения устойчивого состояния используется постепенный выход на рабочий режим, требуется, чтобы база данных изначально заполнялась надлежащим образом. Как во время выхода на рабочий режим, так и во время устойчивого состояния необходимо соблюдать сочетание определенных транзакций и требования, описанные в пункте 5.2.5.7. Комментарий: Цель данного параграфа состоит в том, чтобы предотвратить значительные изменения содержания изначально надлежащим образом заполненной базы данных во время выхода на рабочий режим. 5.5.1.4 Для демонстрации повторяемости результатов нет необходимости в проведении дополнительных измерений. 5.5.1.5 Несмотря на то, что нестабильность допускается, для генерации входных данных, отличных от описанных в пунктах 2.4.1, 2.5.1, 2.6.1, 2.7.1, и 2.8.1 требований, RTE не может быть оценено безупречно. Чтобы быть точным, входные данные, сгенерированные во время измерений, не должны достигать следующих отклонений:
5.5.1.6 Чтобы быть точным, интервал измерения должен содержать не более 1% или более одной, что уже много, транзакций Доставка, пропущенных из-за того, что число заказов в таблице Новый Заказ меньше, чем это необходимо. 5.5.2 Длительность 5.5.2.1 Интервал измерений должен:
5.5.2.2 Сразу после внесения изменений некоторые системы не сохраняют измененные записи/страницы базы данных на отказоустойчивый носитель информации, наоборот, откладывают сохранение. В определенное время измененные записи/страницы сохраняются, создавая, таким образом, текущую копию. Этот момент определяется как контрольная точка в документе.
5.6.1 Для каждого, из пяти типов транзакций (например, Новый Заказ, Оплата, Статус Заказа, Доставка и Уровень Запасов), частота распределения времен отклика всех транзакций, начатых и завершенных за определенное время, должна быть представлена в отчете. На графике ось х представляет Время отклика транзакции, и она должна начинаться от нуля, и заканчиваться значением, 4 раза превышающим 90ю процентиль Времени Отклика для данной транзакции. Ось у представляет частоту транзакций за данное Время отклика. По крайней мере, в отчете должны быть представлены 20 различных интервалов равной величины. Максимальное значение, среднее значение, и 90я процентиль Времени отклика также должны быть указаны в отчете. Ниже показан пример такого графика.
5.6.2 В отчете должен быть представлен график зависимости Времени отклика от пропускной способности транзакции Новый Заказ, запущенной в рамках сочетания транзакций, требуемых пунктом 5.2.3. Ось х показывает измеренную пропускную способность транзакции Новый Заказ. Ось у показывает значение, соответствующее 90-й процентили Времени Отклика. График должен быть построен по значениям 50%, 80% и 100% заявленного уровня пропускной способности (дополнительные значения не обязательны). Значения для 50% и 80% должны быть измерены при тех же условиях, что и для 100%, с интервалом в, как минимум, 20 минут, варьируя при этом либо Время обдумывания одного или более типов транзакций, или число активных терминалов. Далее по этим значениям проводится интерполяция. Для требуемых сочетаний транзакций допускаются отклонения для точек 50% и 80%. Ниже приведен пример такого графика.
5.6.3 В отчет должны быть выведены данные о частотном распределении Времени реакции транзакции Новый Заказа, запущенной и выполненной в пределах определенного измерения. Ось х отображает Время реакции и должна начинаться с нуля и заканчиваться значением, в 4 раза превышающим среднее значения Времени реакции данной транзакции. Ось у отображает частоту транзакций за данное Время реакции. По крайне мере данные о 20 интервалах равной длины должны присутствовать в отчете. Ниже приведен пример такого графика.
5.6.4 В отчет должен быть выведен график зависимости пропускной способности транзакции Новый Заказ от затраченного времени как для выхода на рабочий режим, так и для интервала измерений. Ось х отображает затраченное время с момента запуска. Ось у отображает пропускную способность в tpmC. Необходимо использовать, по крайней мере, 240 различных интервалов с максимальной продолжительностью в 30 секунд. Начало и конец измерений должны быть указаны на графике. Ниже приведен пример такого графика.
5.7.1 Чтобы соответствовать стандарту TPC-C и Правилам добросовестного использования материала и инструкции TPC (TPC’s Fair Use Policies and Guidelines), все публичные ссылки на TPC-C результаты для определенной конфигураций должны включать компоненты, приведенные ниже. Эти компоненты известны, как Главные Метрики.
|
