Глава 9 - АУДИТ |
|
Содержание: 9.1 Общие правила
9.1.1 Согласно требованиям TPC, необходимо провести независимый аудит результатов теста. Аудиторская проверка является частью данной инструкции. Нужно получить аудиторскую анкету у одного из аудиторов. Термин «независимый» имеет следующее определение: «результат данного теста не имеет другой финансовой выгоды для агентства по оказанию аудиторских услуг, кроме гонорара за услуги по аудиторской проверке». К тому же подобное агентство не может оказывать никаких других услуг, кроме консультации «аудит теста», выполняющегося на основании контракта. Термин «сертифицированный» имеет следующее определение: TPC проверило квалификацию аудитора и подтверждает, что он может удостоверять верность результатов теста». Для понимания процесса лицензирования следует посмотреть Правила аудита. Кроме того, необходимо соблюдать следующие условия:
9.1.2 Требуется, чтобы аудиторская лицензия могла быть опубликована в любой момент, как часть Отчета о Полном Раскрытии Деталей Тестирования, но детального отчета от аудитора не требуется. 9.1.3 Для целей проведения аудита используются только транзакции, сгенерированные Драйверной системой, а также данные, связанные с этими транзакциями, за исключением проверки изначального заполнения базы данных. 9.1.4 В случае проведения аудиторской проверки результатов теста TPC-C, которые используются в качестве основы для новых результатов TPC-C, организатор нового теста может утверждать о проведении аудита при следующих условиях:
Аудитор не обязан выполнять любое из перечисленных ниже условий по аудиторской анкете из пункта 9.2. 9.2.1 Пункт 1 Вопросы, связанные с Построением логики базы данных 9.2.1.1 Удостоверьтесь, что указанные свойства (т.е. столбцы) и ряды существуют, и они соответствуют описанию. 9.2.1.2 Проверьте, чтобы идентификаторы рядов не были диском или разделом файла. 9.2.1.3 Удостоверьтесь, что для всех таблиц поддерживается функция вырезания, внесения и удаления данных. 9.2.1.4 Удостоверьтесь, что данные ввода в систему во время проведения теста случайны для всех транзакций. Проверьте также однородность сгенерированных цен, необходимых для поддержки заявленного значения tpmC (см. пункт 5.4), по всем строкам сконфигурированной базы данных. 9.2.1.5 Проверьте наличие горизонтального или вертикального разбиения и, если такие обнаружены, то соответствует ли оно правилам разбиения TPC-C . 9.2.1.6 Проверьте наличие дубликатов таблиц и, если таковые обнаружены, соответствуют ли они правилам TPC-C. 9.2.1.7 Удостоверьтесь, что не более 1% или не более одной транзакции Доставки были пропущены в следствии предоставления меньших заказов в таблице НОВЫЙ ЗАКАЗ 9.2.2 Пункт 2 Вопросы, связанные с транзакциями и профилями транзакций 9.2.2.1 Убедитесь, что приложения подходят соответствующим профилям транзакций . 9.2.2.2 Убедитесь, что данные ввода удовлетворяют требованиям и внешний вид экрана ввода/вывода сохранен. 9.2.2.3 Проверьте соответствие требованиям об обнаружении ошибки и предоставлении информации по ней, как указано в пункте 2.3.6. Комментарий: Это можно проверить путем инспектирования кода по желанию аудитора. 9.2.2.4 Проверьте, чтобы каждая транзакция Новый Заказ использовала независимо сгенерированные данные ввода, а не взятые из транзакций отката. 9.2.2.5 Проверьте, чтоб случайно сгенерированные данные ввода не выходили за рамки ограничений:
9.2.2.6 Убедитесь, что результаты выполнения транзакции Доставка в режиме задержки, записываются в файл результатов. Удостоверьтесь, что файл результатов хранится на правильном типе устройства хранения информации. Более того, проверьте, чтобы ни одно действие не записывалось в файл результатов до завершения операции. 9.2.2.7 Убедитесь, что все поля экрана ввода и вывода, которые могут меняться, очищены в начале каждой транзакции. 9.2.2.8 Используя один из сконфигурированных терминалов, проверьте, чтобы окно экрана ввода/вывода для каждого типа транзакции показывало все характеристики, указанные в пункте 2.2.2.4. 9.2.2.9 Кроме того аудитор может проверить соответствие данных ввода путем проверки следующих характеристик:
9.2.3 Пункт 3 Вопросы, связанные с транзакциями и Характеристиками системы 9.2.3.1 Убедитесь, что требования по каждому тесту ACID удовлетворяются. 9.2.4 Пункт 4 Вопросы, связанные с масштабированием и заполнением строк базы данных 9.2.4.1 Убедитесь, что база данных изначально имеет правильно масштабируемое требуемое заполнение. 9.2.4.2 Убедитесь, что количество элементов девяти таблиц баз данных как до начала запуска теста, так и после окончания его работы, а также в период роста в таблице НОВЫЙ ЗАКАЗ, в частности, не противоречит числу и типу выполненных транзакций. 9.2.5 Пункт 5 Вопросы, связанные с величиной производительности и временем отклика 9.2.5.1 Убедитесь, что сочетание транзакций, которые видит ТС, удовлетворяет минимальному проценту транзакций. 9.2.5.2 Проверьте действительность метода, который используется для измерения времени отклика на ЭУТ. 9.2.5.3 Если эмулируется часть ТС, проверьте, чтобы заявленное время отклика было не менее того, который видит эмулированный терминал. 9.2.5.4 Проверьте метод, используемый для определения того, что перед началом измерения ТС достигла устойчивого состояния (см.пункт 5.5). 9.2.5.5 Убедитесь, что вся работа, обычно выполняемая в устойчивом состоянии среды, фактически прошла в период интервала измерений, например, установка контрольных точек, запись на диск операций ввода/обновлений. 9.2.5.6 Проверьте длительность интервала измерений для оговоренной tpmC. 9.2.5.7 Убедитесь, что время отклика и тест были измерены в одинаковом временном интервале. 9.2.5.8 Убедитесь, что требуемые Ключевые времена и Времена обдумывания для эмулированных пользователей совершаются в соответствии с условиями. 9.2.5.9 Убедитесь, что 90 процентов времени отклика для каждого типа транзакций больше или равняется среднему времени отклика. 9.2.5.10 Если ЭУТ устанавливает отклонения для каждого типа транзакции, убедитесь чтобы они не превышали 5% от их относительной изначальной величины. 9.2.5.11 Если ЭУТ использует картотеки (см. пункт 5.2.4.2), они должны отвечать определенным требованиям. 9.2.5.12 Если используется периодические контрольные точки, проверьте, чтобы во время измерений они были надлежащим образом отмасштабированы и расставлены. 9.2.5.13 Проверьте, что среднее время обдумывания для каждого типа транзакции – не меньше минимального, указанного в пункте 5.2.5.7 9.2.6 Пункт 6. Вопросы, связанные с ТС, Драйвером и определением связи 9.2.6.1 Опишите метод, использованный для проверки точного моделирования тестируемого терминального наполнения Драйверной системой, если такая применялась. 9.2.6.2 Проверьте подключение терминалов и поддержку среды, как указанно в пункте 6.6.2. 9.2.6.3 Убедитесь, что соблюдаются ограничения на вмешательство оператора. 9.2.7 Пункт 7 Вопросы, связанные с тарификацией 9.2.7.1 Правила проверки вопросов, связанных с тарификацией, включены в текущую версию Инструкции по тарификации TPC, которая находится на сайте: www.tpc.org. 9.2.8 Вопросы, связанные с Полным отчетом о раскрытии деталей 9.2.8.1 Убедитесь, что количество процессоров, ядер, потоков, выведенных в отчет специалистом, проводившем тестирование, не противоречило их количеству, указанному операционной системой. Также проверьте, что любые процессоры, ядра, потоки, которые находились на ТС, не рассматривались как подключенные и не мешали правильной работе теста. 9.2.8.2 Любой объект СУБД, используемый в приложении TPC-C, нуждается в официальной документации или письме от поставщика СУБД аудитору, описывающему поведение и непрерывную поддержку этого поведения. Комментарий: Например, объект СУБД – это выбор строк по порядку главного индекса, даже если нет пункта СОРТИРОВАТЬ ПО в определении курсора. |