Глава 8 - Отчет о Полном Раскрытии Деталей Тестирования   

Содержание:

8.1 Требования к отчету

8.2 Наличие Отчета о Полном Раскрытии Деталей Тестирования

8.3 Исправления в Отчете о Полном Раскрытии Деталей Тестирования



Требования по вопросам, связанным с тарификацией в Отчете о Полном Раскрытии Деталей, находятся в текущей версии TPC Особенностей Тарификации, размещенной на сайте www.tpc.org.

8.1 Требования к отчету

Отчет о Полном Раскрытии Деталей Тестирования необходим для того, чтобы результаты соответствовали определениям теста TPC-C.

Комментарий: Цель данного раскрытия заключается в том, чтобы дать возможность клиенту воспроизвести результаты контрольного тестирования, имея соответствующую документацию и программы.

Эта раздел включает в себя список требований к Отчету о Полном Раскрытии Деталей.

8.1.1 Общие положения

8.1.1.1 Порядок и названия разделов в отчете, должны соответствовать порядку и названиям стандартных инструкций TPC-C (т.е. данного документа).

Требуется облегчить возможность сравнения материалов из различных отчетов.

8.1.1.2 Краткий отчет содержания TPC должен быть в начале Отчета о Полном Раскрытии Деталей. Он описывает компоненты конфигурации, которые необходимы для получения результатов работы. Пример Краткого отчета приведен в приложении В., Последняя версия необходимого формата доступна в Администраторе TPC.

Комментарий 1: Далее показано, как нужно представлять информацию о процессоре:

  • количество узлов сети, если таковые есть

  • Для каждого типа процессора - общее количество задействованных процессоров, общее количество работающих ядер, общее количество запущенных потоков, модель процессора и скорость в Гц. Если используется более одного типа процессора, то каждый должен быть описан отдельно.

  • В Кратком отчете число, заявленное в поле "Процессоры Базы данных", должно показывать общее количество процессоров/ядер/потоков для всех задействованных процессоров, серверов базы данных. Информация о процессорах для всех серверов в ТС указывается в поле Системные Компоненты, а не в поле Процессоры.

Комментарий 2: Если пакет оценен, но ни один из его компонентов не используется в оцененной тестовой конфигурации, то он должен быть перечислен в таблице цен, включая любые приобретенные компоненты, не используемые в управлении тестом. Однако, только компоненты, действительно необходимые для воспроизведения заявленной системы исчисления, могут присутствовать в информации о конфигурации в Кратком отчете.

8.1.1.3 Числовые величины, приведенные ниже, должны быть кратко описаны в начале Отчета о Полном Раскрытии Деталей:

  • интервал измерений, выраженный в минутах,

  • количество контрольных точек в интервале измерений,

  • самый длительный интервал измерений, выраженный в минутах,

  • количество транзакций (всех типов), завершенных во время измерений,

  • МКПС, рассчитанный в tpmC,

  • 90-й процентиль, среднее и максимальное Время отклика Нового заказа, Оплаты, Статуса заказа, Уровня запасов, Доставки (отложенной и интерактивной) и транзакции меню,

  • время в секундах, добавленное ко времени отклика для компенсации задержки, связанной с эмулируемыми компонентами,

  • процент сочетаний транзакций для каждого типа транзакций.

Комментарий: Пример такого отчета приведен в приложении С.. Цель состоит в том, чтобы сделать данные удобными, привычными для работы и легкодоступными. Нет необходимости полностью копировать макет, предложенный в приложении С.

8.1.1.4 Информация о прикладной программе (как обозначено в пункте 2.1.7) должна быть подробно изложена. Это подразумевает применение программирование, пяти транзакций и функции ввода/вывода данных.

8.1.1.5 Необходимо указать специалиста, проводившего тест, а так же всех других лиц, принимавших участие в этом тестировании.

8.1.1.6 Необходимо установить все параметры и опции, которые были изменены в результате сбоев, найденных в оборудовании. Они должны включать, следующее:

  • Опции настройки базы данных.

  • Опции восстановления/запоминания.

  • Опции безопасности/блокировки.

  • Параметры операционной системы и конфигурации прикладной программы.

  • Опции накопления и установления связей, опции оптимизации времени исполнения, используемой для создания/инсталлирования приложений, ОС и/или базы данных.

Комментарий 1: Данное требование может быть удовлетворено, приведя список параметров и опций.

Комментарий 2: Цель данного пункта заключается в том, чтобы человек, пытающийся воссоздать тестовую среду, имел достаточно информации о том, как откомпилировать, настроить связь, оптимизировать и успешно применить программное обеспечение, используемое для получения заявленного результата контрольного тестирования.

8.1.1.7 Необходимо показать диаграммы обеих, и измеренной, и оцененной конфигураций, сопровождаемые описанием их отличий. Это должно включать в себя:

  • Количество и типы процессоров/ядер/потоков.

  • Объем установленной памяти и любую специфическую карту/разбиение памяти, особенные для теста.

  • Число и тип запоминающих устройств (контроллеров, если таковые имеются).

  • Количество каналов или шин запоминающих устройств, включая тип их протокола.

  • Количество LAN подключений, включая роутеры, рабочие станции, терминалы и т.д., которые физически используются во время теста, или включены в структуру тарификации (см. пункт 8.1.8)

  • Тип и место исполнения компонентов программного обеспечения (т.е. СУБД, клиентские процессы, мониторы транзакций, драйверы программного обеспечения).

Комментарий: Подробные диаграммы для системных конфигураций и архитектур могут широко варьироваться, невозможно предоставить точную инструкцию, подходящую для всех реализаций. Цель состоит в том, чтобы достаточно подробно описать компоненты системы и подключения, которые можно использовать для построения конкретной среды измерений.

Ниже приведен образец диаграммы, иллюстрирующий рабочую станцию/роутер/серверную, измеренную конфигурацию теста, которая используют локальную сеть и один процессор. Заметьте, что данная диаграмма не описывает никакую оптимальную конфигурацию для контрольного тестирования TPC-C.

Концентратор: Система_WW с 10 бездисковыми рабочими станциями каждая
LAN: ЛС использующая роутеры NET_XX
ЦП: Модель_YY с 128 Мб оперативной памяти, 4 контроллера ввода-вывода с поддержкой протокола SCSI II
Диск: Накопители (Drive) Vendor_ZZ 1.2 Гб

8.1.2 Вопросы, связанные с построением логики базы данных:

8.1.2.1 Необходимо предоставить распечатку всех определений таблицы и других формулировок, которые применяются при настройке базы данных.

8.1.2.2 Необходимо предоставить физическую структуру, а также таблицы и индексы по базе.

Комментарий: Концепция физической структуры включает в себя: группу записей (т.е. строки в различных логических таблицах собраны на одной странице данных), группу индексов (т.е. строки и краевые узлы индексов собраны на одной физической странице данных), и частичные наполняющие элементы (т.е., физические страницы данных остаются частично незаполненными, даже если есть возможность добавления в них дополнительных рядов).

8.1.2.3 Необходимо удостовериться, что операции по вставке и/или удалению совершаются в любой из таблиц одновременно с выполнением сочетаний транзакции TPC-C. Более того, необходимо знать обо всех ограничениях применения базы данных ТС, препятствующих вставкам сверх лимитов, указанных в пункте 1.4.11. Они включают: максимальное число строк, которые можно вставлять, и максимальные значения ключей этих строк.

8.1.2.4 Несмотря на наличие нескольких ограничений, касающихся горизонтального и вертикального разбиения таблицы и рядов в тесте TPC-C (см. пункт 1.6), необходимо иметь информацию обо всех таких разделениях. Например, выберем клиентскую таблицу. Ее разбиение может иметь вид:

C_part_1 C_ID
C_D_ID
C_W_ID
------------------------ вертикальное разбиение ----------------
C_part_2 C_FIRST
C_MIDDLE
C_LAST
C_STREET_1
C_STREET_2
C_CITY
C_STATE
C_ZIP
C_PHONE
C_SINCE
------------------------ вертикальное разбиение ----------------
C_part_3 C_CREDIT
C_CREDIT_LIM
C_DISCOUNT
C_BALANCE
C_YTD_PAYMENT
C_PAYMENT_CNT
C_DELIVERY_CNT
------------------------ вертикальное разбиение ----------------
C_part_4 C_DATA

Можно ссылаться на файлы базы данных (см. пункт 8.1.5) с помощью их условного знака T_part_N (где T обозначает название таблицы, и N - номер сегмента разбиения), но при описании их физического расположения. Эти делается после идентификации разделенных элементов базы данных.

8.1.2.5 Если дублирование имело место, то необходимо подробно изложить все подробности этого процесса (см. пункт 1.4.6).

8.1.2.6 В отчете должно быть приведено как подробное описание дополнительных и/или дублированных свойств таблицы, так и их влияние на производительность (см. пункт 1.4.7).

8.1.3 Вопросы, касающиеся транзакций и профилей транзакций

8.1.3.1 Необходимо описать метод проверки генерации случайных чисел.

8.1.3.2 Необходимо предоставить описание настроек внешнего вида экранов ввода/вывода терминала.

8.1.3.3 Используемый метод показывает, что эмулированные терминалы обладают всеми описанными в пункте 2.2.2.4 характеристиками. Несмотря на то, что терминал не имеет определенной цены, его тип и модель, представленные в 8.1.3.3, должны быть подробно изложены и доступны в использовании (включая как техническую поддержку, так и поддержку программного обеспечения).

8.1.3.4 Любое использование программ управления презентациями или терминалов с развитой логикой должно быть подробно изложено.

Комментарий 1: Цель данного пункта заключается в описании любой специальной манипуляции, которая выполняется локальным терминалом или рабочей станцией, для работы с ТС в режиме офф-лайн. Это включает в себя: отображение на экране, построение сообщений и хранение строк TPC-C на локальном устройстве хранения информации.

Комментарий 2: Данный отчет также требует описания функций управления данными, которые выполняются локальным терминалом для предоставления транзакций навигационным устройствам. В рамках данного отчета необходимо пояснить цель использования таких дополнительных функций.

8.1.3.5 В отчете должно быть приведено процентное отношение домашних и удаленных позиций в заказе транзакции Новый Заказ.

8.1.3.6 Отчет должен содержать информацию о количестве отмененных транзакций Новый Заказ.

8.1.3.7 В отчете должно быть представлено число позиций в заказе, введенных транзакцией Новый Заказ.

8.1.3.8 Отчет должен содержать информацию о процентном соотношении домашних и удаленных транзакций Оплата.

8.1.3.9 В отчете должно быть приведено процентное содержание транзакций Оплата и Статус Заказа, которые используют вторичный ключ (C_LAST) для доступа к базе данных.

8.1.3.10 В отчете должна быть приведена информация о процентном соотношений транзакций Доставка, которые были отменены в результате неправильного количества рядов в таблице НОВЫЙ ЗАКАЗ.

8.1.3.11 Отчет должен содержать информацию о сочетаниях транзакций, которые ТС обнаруживает.

8.1.3.12 Отчет должен содержать информацию о механизме постановки транзакций в очередь, используемый для отложенного выполнения транзакции Доставка.

8.1.4 Вопросы, связанные с характеристиками транзакций и системы

8.1.4.1 Отчет должен содержать информацию о результатах ACID тестирования, а также детали того, как были удовлетворены требования ACID. Имеется в виду, какой выбор был сделан для выполнения Теста на Изолированность 7.

8.1.5 Вопросы, относящиеся к масштабированию и заполнению базы данных

8.1.5.1 Отчет должен содержать информацию о количестве элементов множества (т.е. о числе рядов) каждой таблицы на момент начала запуска теста (см. пункт 4.2). Должна быть приведена информация о количестве элементов множества таблицы СКЛАД на начальный момент, и о количестве удаленных рядов, если база данных была чрезмерно отмасштабирована и неактивные строки таблицы СКЛАД были стерты (см. пункт 4.2.2).

8.1.5.2 Распределение таблиц и логов (файлов регистрации) по всем носителям информации должно быть подробно изложено как для тестируемой, так и системы с установленной стоимостью.

CPU - центральный процессор
Operating System root volume - объем ОС
System page volume - объем системной страницы
HISTORY file - файл ИСТОРИИ
Physical log file - Физический лог-файл
Operating System / user files - ОС/файлы пользователя
Таблицы WAREHOUSE (СКЛАД), CUSTOMER (ЗАКАЗЧИК), DISTRICT (ТОЧКА ПРОДАЖИ), NEW_ORDER (НОВЫЙ ЗАКАЗ), ORDER (ЗАКАЗ), ORDER_LINE (ПОЗИЦИЯ В ЗАКАЗЕ)
ITEM STOCK tables таблицы ТОВАР в НАЛИЧИИ

Комментарий: Подробные диаграммы конфигураций файлов базы данных могут значительно варьироваться, трудно предоставить точную инструкцию, удобную в использовании. Основная цель состоит в предоставлении достаточно подробного отчета, который мог бы позволить самостоятельно реконструировать тестируемую базу данных. Ниже в качестве примера приведены две схемы описания конфигурации базы данных, но они считаются описанием оптимальной конфигурации для базы данных.

8.1.5.3 Отчет должен содержать достаточно подробную инструкцию, которая описывает:

  1. Модель данных, реализуемую используемой СУБД (т.е., относительная, сетевая, иерархическая)

  2. Интерфейс базы данных (т.е. встроенная, уровня вызовов) и язык доступа (т.е., SQL, DL/1, COBOL чтение/запись), используемые для реализации транзакций TPC-C. Если для реализации TPC-C применяется более одного интерфейса/языка, то каждый из них должен быть подробно изложен. Также необходимо предоставить список, уточняющий, какой тип интерфейса/языка был использован и с каким типом транзакции.

8.1.5.4 Отчет должен содержать описание структуры разделов/копий базы данных.

Комментарий: Целью данного параграфа является предоставление достаточно подробной информации о разделах и копиях, что позволит самостоятельно реконструировать тестируемую базу данных.

В качестве примера представлено описание схемы разбиения базы данных на части. Номенклатура данного примера была намечена при использовании таблицы КЛИЕНТ (в пункте 8.1.2.1) и была расширена для использования таблиц ЗАКАЗ и ПОЗИЦИЯ В ЗАКАЗЕ.

8.1.5.5 В отчете необходимо описать подробности вычислений 60 дневного периода вместе с доказательством того, что база данных сконфигурирована надлежащим образом для поддержки 8-ми дневного на рабочий режим для динамических таблиц (таблиц ЗАКАЗ, ПОЗИЦИЯ В ЗАКАЗЕ и ИСТОРИЯ) (см. пункт 4.2.3).

8.1.6 Вопросы, связанные с величиной производительности и Временем отклика

8.1.6.1 Отчет должен иметь данные о числе обрабатываемых транзакций в минуту tpmC.

8.1.6.2 Для всех типов транзакций, также как и для меню времени отклика необходимо указать 90-й процентиль, максимальное и среднее значения времени отклика.

8.1.6.3 Для каждого типа транзакции необходимо указать максимальное, среднее и минимальное значения времени определения и обдумывания.

8.1.6.4 Для каждого типа транзакции необходимо показать кривую частотного распределения Времени отклика (см.пункт 5.6.1).

8.1.6.5 Для транзакции Новый Заказ необходимо показать кривую производительности времени отклика по отношению к пропускной способности (см.пункт 5.6.2).

8.1.6.6 Для транзакции Новый Заказ необходимо показать кривую частотного распределения Времени обдумывания (см.пункт 5.6.3).

8.1.6.7 Нет необходимости показывать кривую распределения Времени определения.

8.1.6.8 Для транзакции Новый Заказ необходимо показать график пропускной способности к фактическому времени (см.пункт 5.6.4).

8.1.6.9 Необходимо описать метод, использованный для определения того, что ТС достигла устойчивого состояния перед началом измерений (см.пункт 5.5).

8.1.6.10 Необходимо описать, процесс работы (в обычном режиме) во время проводимого теста (например, введение контрольных точек, запись в журнал регистраций операций ввода/изменения данных), которые фактически происходят во время интервала измерений.

8.1.6.11 Необходимо сообщить время начала тестирования и его длительность в секундах хотя бы для четырех самых продолжительных контрольных точек в период измерений (см.пункт 5.5.2.2 (2)).

8.1.6.12 Необходимо включить отчет о длительности интервала измерений для указанной Максимальной качественной пропускной способности (tpmC).

8.1.6.13 Необходимо описать метод управления сочетаниями транзакций (т.е. картотеками, взвешенным случайным распределением). Если используется взвешенное распределение и ЭУТ настраивает вес, связанный с каждым типом транзакции, должно быть указано максимум настроек для веса от начального значения.

8.1.6.14 Необходимо сообщить процент общих сочетаний для каждого типа транзакций.

8.1.6.15 Необходимо сообщить процент транзакций Новый Заказ, которые были возвращены на начальный уровень в результате недействительного номера товара.

8.1.6.16 Необходимо сообщить среднее количество позиций в заказе, введенных для каждого транзакции Новый Заказ.

8.1.6.17 Необходимо сообщить процент удаленных позиций в заказе, введенных для транзакций Новый Заказ.

8.1.6.18 Необходимо сообщить процент удаленных транзакций Оплата.

8.1.6.19 Необходимо сообщить процент выбора клиентов по фамилии в транзакциях Оплата и Статус Заказа.

8.1.6.20 Необходимо сообщить процент транзакций Доставка, пропущенных по причине меньшего количества заказов, чем необходимо в таблице НОВЫЙ ЗАКАЗ.

8.1.6.21 Необходимо указать количество контрольных точек в интервале измерения, время в секундах с момента начала периода измерений до первой контрольной точки, а также интервал.

8.1.7 Вопросы, связанные с ТС, Драйвером и определением связи

8.1.7.1 Необходимо указать параметры ввода ЭУТ, фрагменты кода, функции и т.д., используемые для генерации каждого поля ввода транзакции.

Комментарий: Цель данного пункта состоит в том, чтобы ЭУТ был сконфигурирован для генерации входных данных транзакций так, как сказано в пункте 2.

8.1.7.2 Необходимо указать количество терминальных подключений, потерянных за время интервала измерения (см. пункт 6.6.2).

8.1.7.3 Необходимо продемонстрировать, что эмулируемые в Драйверной системе компоненты и оцененная система имеют равную функциональность и производительность. Необходимо сообщить о результатах теста, описанного в пункте 6.6.3.4.

8.1.7.4 Необходимо привести полную функциональную диаграмму конфигураций теста и предложенной (целевой) системы. Необходимо указать подробный список функций программного обеспечения и «железа», выполняемых на Драйверной системе и его интерфейсе к ТС (см.пункт 6.6.3.6).

8.1.7.5 Необходимо сообщить о сетевых конфигурациях представленных тестированных сервисов и сервисов предложенной (целевой) системы, а также предоставить тщательное объяснение того, какие именно части предложенных конфигураций заменяются Драйверной системой (см.пункт 6.6.4).

8.1.7.6 Необходимо указать пропускную способность сети(ей), используемой в тестируемой/оцененной конфигурации.

8.1.7.7 Необходимо указать механизм и частоту вмешательства оператора, если этого требует конфигурация (см.пункт 6.6.6).

8.1.8 Вопросы, связанные с тарификацией

8.1.8.1 Правила по отчету о Тарификации включены в текущее издание Инструкции по тарификации TPC, размещенное на сайте www.tpc.org.

8.1.9 Вопросы, связанные с аудитом

8.1.9.1 Имя, адрес, телефон аудитора, а также копия аудиторской лицензии, указывающей оценку данного специалиста, должны быть указаны в отчете

8.2 Наличие Отчета о Полном Раскрытии Деталей Тестирования

Полный отчет должен быть в свободном доступе по разумной цене, подобно другим документам того же организатора тестов. После опубликования результатов отчет должен быть доступным. Чтобы использовать фразу "TPC Benchmark™ C", Полный отчет должен был быть введен в TPC Administrator, а также получено письменное разрешение на его распространение.

8.3 Исправления в Отчете о Полном Раскрытии Деталей Тестирования

8.3.1 В дополнение к требованиям пересмотра Отчета о Полном Раскрытии Деталей Тестирования, который находится в текущей версии Инструкции ценовой политики TPC, следующие компоненты в конфигурации, содержащей цены, могут заменятся, если они не пользуются спросом:

  • системы предварительной обработки данных

  • диски, массивы дисков, внешние контроллеры устройств хранения информации 

  • терминальные серверы

  • адаптеры сети

  • роутеры, мосты, репитеры, переключатели

  • кабели

8.3.2 Замена сервера или основной системы (Host system), ЦП, СУБД или TМ запрещены.