Коротко и о главном про большие базы данных

Информационная база данных любого предприятия с той или иной интенсивностью прирастает новыми данными, увеличиваясь в объёме. Глубина исторических данных, хранящихся в базе данных наших клиентов в среднем составляет 7 лет и более, тогда как для для операционной деятельности предприятия в среднем требуется от 1 года до 3 лет, а значит остальные данные являются избыточными и их следует переместить в архив.

Вместе с тем большие базы данных (речь об объёмах терабайт и более) с точки зрения специалистов по ИТ имеют ряд особенностей. Перечислим наиболее очевидные – знакомые большинству администраторам баз данных и системным администраторам:

• ограниченные возможности по регулярному обслуживанию базы, что также негативно сказывается на её производительности;
• формирование бэкапов базы занимает длительное (иногда исчисляемое часами) время, что усложняет создание копий базы, используемой для задач разработки и тестирования функционала;
• избыточные затраты на содержание базы и её копий, связанные с повышенными требованиями к дисковому пространству собственных серверов или с оплатой хостинга.

Таким образом, рано или поздно перед каждым специалистом по ИТ, связанным с обслуживанием и развитием информационной базы данных предприятия встаёт вопрос удаления из неё массива данных закрытых периодов, не используемых в оперативной деятельности. И это может быть непростая задача, если база, к примеру, уже достигла объёма, хотя бы 1–2 Тб.

Проблематика обрезки большой базы

Информационная система предприятия должна быть непрерывно доступна для пользователей в их рабочее время. Прерывание её работы возможно, но только в технологическое окно, как правило являющееся ночными часами. А для предприятий непрерывного цикла технологические окна отсутствуют или исчисляются минутами.

База объёмом терабайт и более не может быть обрезана в технологическое окно, его длительность недостаточна. Непосредственно процесс обрезки, а также следующие за ним операции сжатия (shrink) и верификации данных пользователям, могут занимать несколько дней. Что предпринять?

Вариант 1. Итерационная обрезка

В основе подхода – разделение процесса обрезки на этапы. Удаление данных выполняется небольшими порциями, в период технологического окна. Для каждого этапа создаётся уникальный набор sql-скриптов, выполняющий удаление данных.

К особенностям этого варианта относятся:

• риск порчи данных – обрезка выполняется в рабочей базе, цена ошибки крайне высока;
• длительная реализация – процесс растягивается на несколько недель или месяцев;
• высокая себестоимость – совокупные затраты на разработку механизма обрезки и обеспечение бесперебойного процесса на протяжении всего периода обрезки.

По совокупности факторов компания Софтпоинт не практикует обрезку больших баз данных итерационным методом.

Вариант 2. Обрезка по методике Софтпоинт

В основе подхода – принцип обеспечения непрерывности работы системы, даже в период непосредственной обрезки. Обрезке подвергается не рабочая база, но её копия. По завершению обрезки копия наполняется новыми данными из рабочей базы, в автоматическом режиме посредством Программы для ЭВМ "Репликация информационных баз". Под новыми данными подразумеваются все те изменения, которые были выполнены в рабочей базе в период обрезки её копии. В результате база на рабочем сервере будет заменена на новую базу меньшего объёма, а старая перенесена в архив.

Особенностями этого варианта являются:

• отсутствие риска порчи данных – все операции удаления данных выполняются исключительно в копии базы;
• двойная проверка данных – по завершении обрезки выполняется проверка на уровне ИТ, а затем база передаётся пользователям на комплексную верификацию;
• оптимальный срок реализации – проект обрезки выполняется "под ключ" и не более 2-3 мес.
• гарантированный результат за фиксированную цену – стоимость окончательная и фиксируется в договоре, новые обстоятельства на неё влияющие полностью исключены.

По совокупности факторов, а в первую очередь по причине обеспечения непрерывности работы пользователей в базе данных предприятия, компания Софтпоинт рекомендует и выполняет обрезку больших баз исключительно по собственной методике. Более подробная информация представлена во вкладе Описание, настоятельно рекомендуем ознакомиться.

Стоимость проекта обрезки

"Хочу воспользоваться методикой, но обрезку буду выполнять сам" – говорите Вы.

Сбалансированный по цене вариант, когда клиент уже имеет разработанный и протестированный механизм обрезки, но нет платформы, которая позволит выполнить обрезку в копии базы и наполнить её новыми данными, введёнными в рабочую в период обрезки копии.

В данном случае Вы приобретаете лицензию Программы для ЭВМ "Репликация информационных баз" и услуги установки/настройки. Полная стоимость с учётом дистанционного контроля работы ПО и процессов обмена данными составит 391 500 руб. (без учёта НДС, начисляемого на услуги).

"Хочу, чтобы обрезку базы выполнили специалисты Софтпоинт" – говорите Вы.

В данном варианте анализ базы данных, разработку для неё механизма обрезки (набор TSQL-скриптов и обработок 1С), его тестирование и последующее применение выполняют специалисты Софтпоинт. При этом лицензия Программы для ЭВМ "Репликация информационных баз" на период выполнения проекта предоставляется бесплатно!

Стоимость проекта в зависимости от трудоёмкости разработки механизма обрезки, как правило находится в диапазоне от 700 000 до 990 000 руб. (без учёта НДС). Запрос на расчёт итоговой стоимости договора направляйте на softpoint@softpoint.ru или нажмите ЗАКАЗАТЬ

Для каких систем

Компания Софтпоинт выполняет обрезку любых баз данных на платформе 1С:Предприятие, конфигурация может быть также любой – типовой, кастомизированной или полностью самописной.

Особенность обрезки баз данных по методике Софтпоинт

В основе методики принцип обеспечения непрерывности работы системы.

Обрезке подвергается не рабочая база предприятия, но её копия. Поэтому сама процедура обрезки, а также следующие за ней операций сжатия (shrink) и верификации данных пользователям, могут быть любой требуемой длительности.

В период обрезки копии базы, пользователи продолжают вносить новые данные в рабочую базу. Программа для ЭВМ "Репликация информационных баз" зафиксирует все внесённые изменения и с сохранением транзакционной целостности и последовательности по завершении процедуры обрезки отразит их в копии базы.

После выполнения пользователям верификации данных в копии базы, подвергнутой обрезке, и выдаче заключения о готовности её ввода в эксплуатацию, она размещается на рабочем сервере , а старая база переносится в архив предприятия.

Дополнительно можно настроить систему онлайн резервирования новых данных в единый архив предприятия. Это может быть полезно, например, для организации работы части пользователей, формирующих аналитические отчёты. Причём, даже самый "тяжёлый" отчёт никак не повлияет на производительность оперативной базы данных предприятия, потому как будет сформирован в архивной базе. Для этого за рамками проекта обрезки пользователь приобретает лицензию на использование Программы для ЭВМ "Репликация информационных баз".

Изменение инфраструктуры на период обрезки базы данных

На период проекта в инфраструктуру целевой системы внедряется Программа для ЭВМ "Репликация информационных баз" к которой подключаются обе базы данных предприятия – рабочая и ей копия.

Графическое представление изменений инфраструктуры представлено на рисунке:

На период непосредственно обрезки, Программа для ЭВМ "Репликация информационных баз" работает в режиме ожидания – накапливает очередь изменений данных рабочей базы, но не применяет их в копии.

По завершению обрезки, Программа для ЭВМ "Репликация информационных баз" активируется на передачу данных и накопленные очереди изменений рабочей базы применяются в копии.

По завершению применения очередей в копии базы, она передаётся пользователям для проверки (верификации) данных.

Программа для ЭВМ "Репликация информационных баз" продолжает непрерывно доставлять изменения рабочей базы в копию, пока в ней выполняется верификация.

По завершению верификации в согласованное технологическое окно база на рабочем сервере предприятия пере разворачивается из копии, подвергнутой обрезке.

Этапы проекта обрезки базы данных

Этап 1. Анализ базы данных и постановка задачи на разработку программного кода обрезки

На данном этапе выполняются:

• создание среды разработки и тестирования – копии базы и предоставление удалённого доступа к ней;

• статистический анализ данных по таблицам базы, предварительный расчёт уменьшения её объёма в результате обрезки;

• инвентаризация интеграционных процессов информационной базы с внешними системами;

• формализация задачи обрезки информационной базы, включающей требования:

• к обрезке в разрезе объектов, в т.ч. по ссылочной целостности, по цепочкам документов на границе обрезки;
  
• по непериодическим объектам, пустым остаткам, сжатию файла данных;
  
• по вводу начальных остатков в информационную базу;
  
• по сохранению планов обмена с внешними системами.

Этап 2. Разработка и тестирование программного кода обрезки части исторических данных информационной базы предприятия


На данном этапе выполняются:

• разработка программного кода обрезки информационной базы данных – TSQL-скриптов и Обработок 1С;

• проведение серии служебных тестов и доработок механизма обрезки;

• подготовка и согласование методики контрольной проверки данных в обрезанной базе;
  

• проведение совместных с заказчиком испытаний разработанного программного кода.
  

Этап 3. Обрезка базы данных и ввод её в эксплуатацию

На данном этапе выполняются:

• установка и настройка Программы для ЭВМ "Репликация информационных баз";

• подключение рабочей базы и её копии к платформе обмена данными;

• подготовка и согласование пошагового плана обрезки копии базы;

• выполнение мероприятий по обрезке копии базы;

• наполнение обрезанной копии новыми данными рабочей базы;

• верификация данных копии базы – выполняет заказчик;

• замена рабочей базы 1С на её обрезанную и верифицированную копию – ввод в эксплуатацию;

• консультационная поддержка в период первой недели эксплуатации новой (уменьшенной) базы.