В наше время развитие IT решений стало неотъемлемой частью жизни многих предприятий, ведь для управления важно знать и анализировать, что происходит внутри компании. Деятельность предприятий невозможна без информационной системы. А для информационной системы, жизненно необходимы данные, и их обработка. Именно загрузка и обработка данных является важной частью работы для получения информации, что и является актуальностью работы.
Представленная в статье информационная система предназначена для использования в IT-компаниях в отделах аналитики.
ETL-процессы позволяют подготовить данные, которые еще не были обработаны, для последующего анализа. Информация приводится в более удобный формат и структуру. ETL помогает усовершенствовать процесс бизнес-аналитики. Он становится более точным и результативным. Рассмотрим основные задачи извлечения, преобразования и загрузки данных:
- Обеспечение исторического контекста информации;
- Консолидированное представление данных;
- Точный анализ данных;
- Автоматизация задач.
В результате бизнес-аналитики могут получить больше полезных сведений.
Обратимся к основным приказам/нормативным документам [1,2,3,4]:
- ГОСТ 34.201-2020 «Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Виды, комплектность и обозначение документов» [1];
- ГОСТ Р 59792-2021 «Комплекс стандартов на автоматизированные системы. Виды испытаний автоматизированных систем» [2];
- ГОСТ Р 59793-2021 «Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания» [3];
- ГОСТ Р 59853-2021 «Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения» [4].
Опираясь на данные документы, в качестве примера, рассмотрим бизнес-процесс создания и настройка ETL задач.
Суть данного процесса состоит в следующем: используются физические таблицы для хранения данных, которые выгружаются из БД вместо того, чтобы каждый раз запросом обращаться к БД, что позволяет ускорить загрузку данных при работе с большим объемом.
На рисунке 1 представлен блок создания и настройка ETL задач.
Модель начинается с рассмотрения системы. Этот блок показывает этапы работы загрузки данных.
Рисунок 1. Создание и настройка ETL задач «AS-IS»
Выходными данными являются обработанные данные, журнал загрузки, иначе говоря логи.
Автоматизация бизнес-процесса на довольно высоком уровне, так как система, в котором идет практика, является высоко нагрузочной и в ней, хранится очень много данных, а обращение к ним происходит каждый раз, поэтому вместо постоянного обращения к БД можно выгрузить данные, и подгружать их с определенной периодичностью.
Как правило, модель «TO-BE» создается на основе «AS-IS», с устранением недостатков в существующей организации бизнес-процессов, а также с их совершенствованием и оптимизацией. Это достигается за счет устранения выявленных на базе анализа «AS-IS».
На рисунке 2 представлена модель «TO-BE».На ней представлено, как происходит создание и настройка ETL задачи.
Рисунок 2. Модель «TO-BE»
К модели «TO-BE» был добавлен блок, при помощи которого будет ускорена загрузка данных, физические таблицы позволяют миновать обращение к БД, тем самым не подгружать 19 млн записей, а обратиться на прямую к репозиторию. Также можно будет настроить планировщик задач на ежедневную загрузку.
Список литературы
- ГОСТ 34.201-2020 «Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Виды, комплектность и обозначение документов» [Электронный источник]: https://protect.gost.ru/document1.aspx?control=31&id=241756
- ГОСТ Р 59792-2021 «Комплекс стандартов на автоматизированные системы. Виды испытаний автоматизированных систем» [Электронный источник]: https://protect.gost.ru/document1.aspx?control=31&id=241706
- ГОСТ Р 59793-2021 «Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания» [Электронный источник]: https://protect.gost.ru/document.aspx?control=7&id=241692
- ГОСТ Р 59853-2021 «Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения» [Электронный источник]: https://protect.gost.ru/document1.aspx?control=31&id=242079