Обрезка базы данных
- 1С: 8.1, 8.2, 8.3
- СУБД: MS SQL Server, PostgreSQL
- Конфигурация 1С: любая тиражная или кастомизированная, кроме 1С:ERP
Услуга обрезки базы данных предоставляется по методике, не имеющей аналогов на рынке ИТ-услуг России. Мы выполним обрезку базы данных любого размера и без прерывания её работы.
Для каких систем
Для любых систем на платформе 1С:Предприятие 8.х под управлением MSSQL Server или PostgreSQL. Конфигурация 1С может быть любой – типовой, измененной или полностью самописной.
Почему сложно обрезать
- Нельзя резать непосредственно рабочую БД.
Процедура обрезки создает большую нагрузку на сервер, блокировки и помехи пользователям. Простои в продуктивной ИТ-системе недопустимы - Можно резать только БД-копию.
Обрезка длится много часов/дней. И любого технологического окна будет недостаточно для процедуры обрезки. Кроме того, после обрезки требуется верификация данных, занимающая много часов/дней, а также shrink БД. - Актуализация данных в уже обрезанной БД. Нужна надёжная и быстрая система передачи данных из рабочей БД в копию для их синхронизации перед переключением пользователей на новую базу.
Эффект от обрезки
- Сокращение времени регламентного обслуживания базы данных
Появится возможность в рамках технологического окна или в периоды минимальной загрузки производить полностью обслуживание по статистикам и индексам - Сокращение времени на резервное копирование и восстановление из резервных копий.
- Снижение потребности в дисковых ресурсах.
За счет уменьшения объёма базы, объема её бэкапов, и парка ее тестовых копий. - Сокращение времени обновления конфигурации 1С
В тех случаях, когда требуется реструктуризация крупных объектов 1С (в особенности при использовании «обычного» режима реструктуризации), подвергшихся обрезке - Снижения продолжительности пересчета текущих итогов
И итогов за иной ограниченный период по крупным регистрам, подвергшимся обрезке.
Немного про большие базы данных
Информационная база данных любого предприятия с той или иной интенсивностью прирастает новыми данными, увеличиваясь в объёме. Глубина исторических данных, хранящихся в базе данных наших клиентов в среднем составляет 7 лет и более, тогда как для для операционной деятельности предприятия в среднем требуется от 1 года до 3 лет, а значит остальные данные являются избыточными и их следует переместить в архив.
Вместе с тем большие базы данных (речь про терабайтные БД) с точки зрения их администрирования имеют ряд особенностей, с которыми рано или поздно столкнутся ИТ-специалисты, обслуживающие систему:
- ограниченные возможности по регулярному обслуживанию базы, что также негативно сказывается на её производительности;
- формирование бэкапов базы занимает длительное (иногда исчисляемое часами) время, что усложняет создание копий базы, используемой для задач разработки и тестирования функционала;
- избыточные затраты на содержание базы и её копий, связанные с повышенными требованиями к дисковому пространству собственных серверов или с оплатой хостинга.
И в конечном итоге встанет вопрос удаления из БД массива данных закрытых периодов, не используемых в оперативной деятельности. И это будет непростая задача, особенно если база достигла объёма хотя бы в 1-2 Тб.
Особенности обрезки большой БД
Информационная система предприятия должна быть непрерывно доступна для пользователей в их рабочее время. Прерывание её работы возможно, но только в технологическое окно, как правило являющееся ночными часами. А для предприятий непрерывного цикла технологические окна отсутствуют или исчисляются минутами.
База объёмом терабайт и более не может быть обрезана в технологическое окно, его длительность недостаточна. Непосредственно процесс обрезки, а также следующие за ним операции сжатия (shrink) и верификации данных пользователям, могут занимать несколько дней. Что предпринять?
Вариант 1. Итерационная обрезка
В основе подхода – разделение процесса обрезки на этапы. Удаление данных выполняется небольшими порциями, в период технологического окна. Для каждого этапа создаётся уникальный набор sql-скриптов, выполняющий удаление данных.
К особенностям этого варианта относятся:
- риск порчи данных – обрезка выполняется в рабочей базе, цена ошибки крайне высока;
- длительная реализация – процесс растягивается на несколько недель или месяцев;
- высокая себестоимость – совокупные затраты на разработку механизма обрезки и обеспечение бесперебойного процесса на протяжении всего периода обрезки.
По совокупности факторов компания Софтпоинт не практикует обрезку больших баз данных итерационным методом.
Вариант 2. Обрезка по методике Софтпоинт
В основе подхода – принцип обеспечения непрерывности работы системы, даже в период непосредственной обрезки. Обрезке подвергается не рабочая база, но её копия. По завершению обрезки копия наполняется новыми данными из рабочей базы, в автоматическом режиме посредством Программы для ЭВМ «Репликация информационных баз». Под новыми данными подразумеваются все те изменения, которые были выполнены в рабочей базе в период обрезки её копии. В результате база на рабочем сервере будет заменена на новую базу меньшего объёма, а старая перенесена в архив.
Особенностями этого варианта являются:
- отсутствие риска порчи данных – все операции удаления данных выполняются исключительно в копии базы;
- двойная проверка данных – по завершении обрезки выполняется проверка на уровне ИТ, а затем база передаётся пользователям на комплексную верификацию;
- оптимальный срок реализации – проект обрезки выполняется «под ключ» и не более 2-3 мес.
- гарантированный результат за фиксированную цену – стоимость окончательная и фиксируется в договоре, новые обстоятельства на неё влияющие полностью исключены.
По совокупности факторов, а в первую очередь по причине обеспечения непрерывности работы пользователей в базе данных предприятия, компания Софтпоинт рекомендует и выполняет обрезку больших баз исключительно по собственной методике.
Особенность обрезки баз данных по методике Софтпоинт
В основе методики принцип обеспечения непрерывности работы системы.
Обрезке подвергается не рабочая база предприятия, а её копия. Поэтому сама процедура обрезки, а также следующие за ней операций сжатия (shrink) и верификации данных пользователям, могут быть любой требуемой длительности.
В период обрезки копии базы, пользователи продолжают в работать в системе обычным образом и вносить в нее новые данные. Программа DB Replication зафиксирует все внесённые изменения и отразит их в копии базы с сохранением транзакционной целостности и последовательности по завершении процедуры обрезки .
После окончания всех процедур верификации данных в копии базы, подвергнутой обрезке, она размещается на рабочем сервере , а старая база переносится в архив предприятия.
Дополнительно можно настроить систему онлайн резервирования новых данных в единый архив предприятия. Это может быть полезно, например, для организации работы части пользователей, формирующих аналитические отчёты. Причём, даже самый "тяжёлый" отчёт никак не повлияет на производительность оперативной базы данных предприятия, потому как будет сформирован в архивной базе. Для этого за рамками проекта обрезки пользователь приобретает лицензию на использование Программы для ЭВМ "Репликация информационных баз".
Изменение инфраструктуры на период обрезки базы данных
На период проекта в инфраструктуру целевой системы внедряется Программа для ЭВМ "Репликация информационных баз" к которой подключаются обе базы данных предприятия – рабочая и ей копия.
Графическое представление изменений инфраструктуры представлено на рисунке:
На период непосредственно обрезки, программа DB Replication работает в режиме ожидания – накапливает очередь изменений данных рабочей базы, но не применяет их в копии.
По завершению обрезки, DB Replication активируется на передачу данных и накопленные очереди изменений рабочей базы применяются в копии. По завершению применения очередей в копии базы, она передаётся пользователям для проверки (верификации) данных.
Программа DB Replication продолжает непрерывно доставлять изменения рабочей базы в копию, пока в ней выполняется верификация.
По завершению верификации в согласованное технологическое окно база на рабочем сервере предприятия переразворачивается из копии, подвергнутой обрезке.
Этапы проекта обрезки базы данных
Этап 1. Анализ базы данных и постановка задачи на разработку программного кода обрезки
- создание среды разработки и тестирования – копии базы и предоставление удалённого доступа к ней;
- статистический анализ данных по таблицам базы, предварительный расчёт уменьшения её объёма в результате обрезки;
- инвентаризация интеграционных процессов информационной базы с внешними системами;
- формализация задачи обрезки информационной базы, включающей требования:
- к обрезке в разрезе объектов, в т.ч. по ссылочной целостности, по цепочкам документов на границе обрезки;
- по непериодическим объектам, пустым остаткам, сжатию файла данных;
- по вводу начальных остатков в информационную базу;
- по сохранению планов обмена с внешними системами.
- к обрезке в разрезе объектов, в т.ч. по ссылочной целостности, по цепочкам документов на границе обрезки;
Этап 2. Разработка и тестирование программного кода обрезки части исторических данных информационной базы предприятия
- разработка программного кода обрезки информационной базы данных – TSQL-скриптов и Обработок 1С;
- проведение серии служебных тестов и доработок механизма обрезки;
- подготовка и согласование методики контрольной проверки данных в обрезанной базе;
- проведение совместных с заказчиком испытаний разработанного программного кода.
Этап 3. Обрезка базы данных и ввод её в эксплуатацию
- установка и настройка программа DB Replication;
- подключение рабочей базы и её копии к платформе обмена данными;
- подготовка и согласование пошагового плана обрезки копии базы;
- выполнение мероприятий по обрезке копии базы;
- наполнение обрезанной копии новыми данными рабочей базы;
- верификация данных копии базы – выполняет заказчик;
- замена рабочей базы 1С на её обрезанную и верифицированную копию – ввод в эксплуатацию;
- консультационная поддержка в период первой недели эксплуатации новой (уменьшенной) базы.
Стоимость проекта обрезки
"Хочу воспользоваться методикой, но обрезку буду выполнять сам" – говорите Вы.
Сбалансированный по цене вариант, когда клиент уже имеет разработанный и протестированный механизм обрезки, но нет платформы, которая позволит выполнить обрезку в копии базы и наполнить её новыми данными, введёнными в рабочую в период обрезки копии.
В данном случае Вы приобретаете лицензию Программы для ЭВМ "Репликация информационных баз" и услуги установки/настройки. Полная стоимость с учётом дистанционного контроля работы ПО и процессов обмена данными составит 455 500 руб. (без учёта НДС, начисляемого на услуги).
"Хочу, чтобы обрезку базы выполнили специалисты Софтпоинт" – говорите Вы.
В данном варианте анализ базы данных, разработку для неё механизма обрезки (набор TSQL-скриптов и обработок 1С), его тестирование и последующее применение выполняют специалисты Софтпоинт. При этом лицензия Программы для ЭВМ "Репликация информационных баз" на период выполнения проекта предоставляется бесплатно!
Стоимость проекта в зависимости от трудоёмкости разработки механизма обрезки, как правило находится в диапазоне от 990 000 руб. до 1 188 000 руб. (без учёта НДС). Запрос на расчёт итоговой стоимости договора направляйте на softpoint@softpoint.ru или нажмите
