МОДЕЛИРОВАНИЕ И АНАЛИЗ БИЗНЕС-ПРОЦЕССОВ ОБРАЩЕНИЯ И ХРАНЕНИЯ ДАННЫХ В BI СИСТЕМАХ

В наше время развитие IT решений стало неотъемлемой частью жизни многих предприятий, ведь для управления важно знать и анализировать, что происходит внутри компании. Деятельность предприятий невозможна без информационной системы. А для информационной системы, жизненно необходимы данные, и их обработка. Именно загрузка и обработка данных является важной частью работы для получения информации, что и является актуальностью работы.

Представленная в статье информационная система предназначена для использования в IT-компаниях в отделах аналитики.

ETL-процессы позволяют подготовить данные, которые еще не были обработаны, для последующего анализа. Информация приводится в более удобный формат и структуру. ETL помогает усовершенствовать процесс бизнес-аналитики. Он становится более точным и результативным. Рассмотрим основные задачи извлечения, преобразования и загрузки данных:

• Обеспечение исторического контекста информации;
• Консолидированное представление данных;
• Точный анализ данных;
• Автоматизация задач.

В результате бизнес-аналитики могут получить больше полезных сведений.

Обратимся к основным приказам/нормативным документам [1,2,3,4]:

• ГОСТ 34.201-2020 «Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Виды, комплектность и обозначение документов» [1];
• ГОСТ Р 59792-2021 «Комплекс стандартов на автоматизированные системы. Виды испытаний автоматизированных систем» [2];
• ГОСТ Р 59793-2021 «Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания» [3];
• ГОСТ Р 59853-2021 «Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения» [4].

Опираясь на данные документы, в качестве примера, рассмотрим бизнес-процесс создания и настройка ETL задач.

Суть данного процесса состоит в следующем: используются физические таблицы для хранения данных, которые выгружаются из БД вместо того, чтобы каждый раз запросом обращаться к БД, что позволяет ускорить загрузку данных при работе с большим объемом.

На рисунке 1 представлен блок создания и настройка ETL задач.

Модель начинается с рассмотрения системы. Этот блок показывает этапы работы загрузки данных.

Рисунок 1. Создание и настройка ETL задач «AS-IS»

Выходными данными являются обработанные данные, журнал загрузки, иначе говоря логи.

Автоматизация бизнес-процесса на довольно высоком уровне, так как система, в котором идет практика, является высоко нагрузочной и в ней, хранится очень много данных, а обращение к ним происходит каждый раз, поэтому вместо постоянного обращения к БД можно выгрузить данные, и подгружать их с определенной периодичностью.

Как правило, модель «TO-BE» создается на основе «AS-IS», с устранением недостатков в существующей организации бизнес-процессов, а также с их совершенствованием и оптимизацией. Это достигается за счет устранения выявленных на базе анализа «AS-IS».

На рисунке 2 представлена модель «TO-BE».На ней представлено, как происходит создание и настройка ETL задачи.

Рисунок 2. Модель «TO-BE»

К модели «TO-BE» был добавлен блок, при помощи которого будет ускорена загрузка данных, физические таблицы позволяют миновать обращение к БД, тем самым не подгружать 19 млн записей, а обратиться на прямую к репозиторию. Также можно будет настроить планировщик задач на ежедневную загрузку.