В компаниях и учреждениях необходимо создать среду хранилища данных (Data Warehouse, DWH), в которой все корпоративные источники данных собираются и моделируются в многомерной структуре для поддержки систем поддержки принятия решений и приложений, таких как DataMining и др.
Процесс подготовки и разработки среды хранилища данных (DWH) включает этапы извлечения, преобразования и загрузки данных из исходных систем — процесс, известный как ETL (Extract, Transform, Load).
Исходными системами могут быть приложения ERP, CRM, системы управления основной деятельностью компании, колл-центры, юридические отделы и другие. Синхронизация большого количества исходных систем — трудоемкий и сложный процесс.
По этой причине в крупных организациях для управления процессами ETL используются такие инструменты, как Oracle Data Integrator, SAP Data Services, Informatica, Talend, которые позволяют централизованно контролировать весь процесс.
С увеличением количества исходных систем и разнообразием источников данных становится все труднее планировать, извлекать, удалять дубликаты, объединять и обогащать данные с учетом общих определений.
Для решения этой задачи мы предлагаем эффективное решение, которое охватывает весь объем данных, достаточно гибкое, чтобы вручную корректировать или добавлять данные в случае непредвиденных ситуаций, и использовать искусственный интеллект для контроля неконтролируемых аспектов, что становится все более важным в современном мире.
