Группа «Самолет» разработала и внедрила собственную платформу качества данных. Она автоматизирует процессы проверки данных и обеспечивает контроль метрик качества. Платформа является эффективным инструментом реализации стратегии Data Governance в части обеспечения согласованности, актуальности и целостности данных.
«Самолет» продолжает инвестировать в цифровые технологии, чтобы оставаться лидером в своей отрасли и обеспечивать клиентов высококачественными услугами на основе точных и надежных данных. Платформа качества данных вносит ценный вклад в комплекс решений по управлению данными и помогает достигать высоких результатов. Так показатель качества данных достиг 97%, что является очень высоким критерием доверия к данным. Благодаря платформе было создано более 72 000 автоматизированных тестов, 116 очисток данных и исправлено более 2000 ошибок.
«Необходимо поддерживать высокий уровень качества на полном жизненном цикле данных. Поэтому на каждом шаге, начиная с интеграции источников с LakeHouse до предоставления информации в готовых витринах, платформа качества участвует в процессах очистки данных. При этом платформа качества помогает не только проверять данные, но и гарантирует, что они соответствуют стандартам и требованиям бизнеса. Это очень важные критерии в цикле управления данными, что позволяет формировать из информации доступный и ликвидный актив для компании. Одна из задач моей дирекции – обеспечивать доступность единого источника данных и доверия к нему. Недавние исследования[1] показали, что 72% российских компаний сталкиваются с финансовыми потерями, которых можно было бы избежать благодаря качественным данным. Ошибки и неточности в данных могут привести к неверным шагам, потере времени и ресурсов, а также подорвать доверие клиентов. «Самолет» использует data-driven подход при принятии стратегических и операционных решений, поэтому качество данных для компании – вопрос первостепенный. Высокие компетенции Data-команды «Самолета» позволяют нам самостоятельно разрабатывать сложные продукты, не уступающие по функциональности и надежности лучшим решениям на российском рынке» – отметила Ольга Свитнева, директор по данным группы «Самолет».
Платформа позволяет настраивать и запускать как стандартные, так и персонализированные проверки данных, что сокращает время на ручные операции и минимизирует ошибки. При этом платформа автоматизирует проверки данных и позволяет запускать их по расписанию, обеспечивает параметризацию запросов, собирает статистику, агрегирует результаты в единый дашборд, содержит инструменты мониторинга. Это комплексный продукт с широкими возможностями.
Еще одной особенностью платфомы является то, что она отслеживает все известные метрики качества: своевременности (оценка актуальности данных), целостности (проверка данных на потерю и искажения в процессе передачи), полноты (содержание достаточной информации), точности (соответствие ожидаемым стандартам), согласованности (подтверждение, что данные не противоречат друг другу и различным источникам), валидности (соответствия данных заданным форматам заполнения). Это позволяет эффективно контролировать качество всей информации в контуре централизованных данных компании.
