📊🚀💡Power BI: когда Excel уже не справляется

Привет всем!

Я, Ипатов Александр, backend-разработчик в компании USETECH. Сегодня хочу поделиться с вами информацией по теме создания (в комплексе с элементами ETL, DWH) и использования BI-инструментов, не затрагивая российский сегмент, о котором в последнее время слышно очень много, в связи с событиями, связанными с запретом использования западных продуктов. Но, на мой взгляд, общие принципы разработки и использования везде идентичные, и хочется сделать обзор именно по глобальному игроку на рынке BI-решений.

Для чего используются BI-инструменты? В чем «профит» для бизнес-пользователей?

Главная идея BI – оперативный анализ данных из различных разрозненных источников данных и принятие на его основе решений.

Профит:

1. Скорость принятия решений (все данные на 1 дашборде, мобильное приложение на смартфоне)
2. Анализ в режиме реального времени (план/фактный анализ на «сейчас»)
   
3. Автоматизация расчетов сводит к нулю риск возникновения ошибок в силу человеческого фактора (сложные расчеты)
   
4. Нужные данные видит нужный пользователь. Таким образом покрываем необходимый уровень разграничения доступов пользователей к данным (к примеру, контрагенты, которым выданы доступы к одному дашборду, не будут видеть друг друга)
   
5. BI может вычислять там, где Excel уже «умирает» (>100 тыс. строк данных)
   
6. Современный подход к работе штата аналитиков компании (возможная оптимизация штата сотрудников как следствие принятия BI в компании)
   

Microsoft PowerBI – лидер на мировом рынке BI решений

Рынок BI инструментов достаточно широкий, однако существуют лидеры, которые задают тон и направление развитию для всего остального рынка.

Да, в текущее санкционное время, вопрос использования Microsoft очень рискованный, однако есть компании, которые продолжают его использование, конечно же, с некими параллельными процессами по интеграции на российский или западный-opensource /азиатский аналог.

Microsoft Power BI находится в авангарде решений такого рода. Microsoft, имея широкие компетенции в аспектах обработки и хранения данных создал инструмент, который действительно в ТОПе BI-решений.

Microsoft ориентируется на комплексный подход, который позволяет пользователям Microsoft в других продуктах иметь более широкие возможности в Power BI. Например, имея БД MsSQL + SSAS + SSIS можно реализовать ETL, который в конечном итоге подключается за «10 минут» в Power BI и имеет сильные конкурентные преимущества перед решениями вне среды Microsoft.

Но Power BI – это не замкнутый на среде Microsoft продукт, он имеет практически самый широкий спектр подключаемых источников данных (190 различных источников данных на сентябрь 2024), что является сильным конкурентным преимуществом.

Какие данные мы можем вкладывать в Microsoft PowerBI?

Файлы: Книга Excel, Текстовый или CSV-файл, XML, JSON, Папка, PDF, Parquet, Папка SharePoint.

БД: База данных SQL Server, База данных Access, База данных SQL Server Analysis Services, Oracle Database, База данных IBM Db2, База данных IBM Informix (бета-версия), IBM Netezza, База данных MySQL, База данных PostgreSQL, База данных Sybase, База данных Teradata.

А также PowerPlatform, Azure, Веб-службы, и разные другие источники: Интернет, Список SharePoint, Канал OData, Active Directory, Microsoft Exchange, Файл Hadoop (HDFS), Spark, Hive LLAP, Скрипт R, Скрипт Python и пр.

Примеры использования с учетом специфики

Дашборды для анализа данных в сфере продаж / кредитов и пр. (зачастую используются воронки).

Дашборды для анализа данных отделов HR и всякого рода тех. поддержки (часто используются тепловые карты и цветовые метки).

Дашборды для анализа данных в сфере логистики (динамика, план/фактный анализ, карты распределения).

В чем ценность для бизнеса использования BI инструментов?

Владельцы бизнеса/ТОП-менеджмент не упускают из вида ни один из важных показателей. Причем, эти показатели не завышаются отделами/департаментами, а влияют на оценки и метрики лишь сами данные, которые подключены напрямую к BI через ETL/DWH – составляющие.

Пример реализации комплексного BI-проекта

1. На основе имеющихся excel/csv выгрузок либо данных из БД реализовать ETL-процесс с помощью оркестраторов Airflow/Dagster (обычно, на языке Python) – обработка и заливка данных в БД MsSQL/PgSQL и пр.
2. В БД реализовать витрины данных (через собранные View на основе транзитного хранилища DWH из п. 1).
   
3. Данные View собрать в Табулярную модель в SSAS.
   
4. PowerB можно подключить непосредственно к Табулярной модели из SSAS в режиме «живого» подключения (DirectQuery), что гарантирует наличие самых свежих данных в отчете на «сейчас».
   
5. Данная Табулярная хороша тем, что изменения в данных можно реализовать внутри нее, не трогая дашборд. А дашборд получит уже измененные актуальные данные – это приводит к ускорению разработки в случае правок. Плюс, если на основе данной табулярной модели построенные более чем один дашборд, все дашборды будут исправлены за одну итерацию, без дополнительной разработки каждого из дашбордов.,
   

Возможные ограничения/разграничения для пользователей (фильтрация, запоминание фильтров, RLS)

В случае использования дашбордом разных пользователей они могут выставлять свои особые фильтры на отчет (при соответствующем разрешении от администратора на данный дашборд). И в случае разных пользователей эти фильтры могут быть у каждого свои. Это позволяет производить пользователям свою «персонализацию» дашборда, что позволит более практично использовать один дашборд вместо дублирования на множество подобных дашбордов.

Пользователи, которые не должны видеть определенные данные могут получать свои особенные доступы к данным дашборда. К примеру, разные контрагенты, которые не должны видеть данные друг друга не будут их видеть, если настроить RLS (защиту на уровне строк). А менеджер будет иметь полный доступ к этим данным. Таким образом будет соблюдаться принцип единого дашборда, вместо множества подобных отчетов.

Запросы, с которыми приходят заказчики в компании для разработки BI инструментов

Зачастую к разработчикам BI решений приходят только для непосредственной разработки дашборда, подключения уже имеющихся данных (файлы Excel, базы данных), однако, в данном вопросе нужно подходить комплексно – реализовывать качественный DWH, который будет отказоустойчив и все потенциальные проблемы (некорректность данных – типы файлов, форматы полей, выход значений за допускаемые интервалы и пр.) будут решены.

Кроме того, в компаниях имеются аналитики данных, которых после реализации BI решений будут просить поддерживать работу Power BI и производить дальнейшие доработки и разработки. Опять же, компании обращаются с просьбой об обучении данных аналитиков азам и принципам работы с BI и поддержкой системы в целом (администрирование). Нужно иметь в виду, что зачастую совмещение этих ролей (аналитик и разработчик) очень сложный и трудоемкий процесс, и иметь двух разных сотрудников на эти позиции.

Надеюсь, что данный материал окажется полезным и подскажет пути в реализации задуманных планов по внедрению BI систем в компаниях или в качестве self-сервиса/pet-проектов.