Источники данных

Драйверы российских сервисов

В линии 57 администратор может выбрать источник в разделе Управление > Базы данных и настроить подключение к российским сервисам. Драйверы работают только на чтение и подходят для штатной ETL-материализации в ClickHouse. Для доступа используйте выданные сервисом учётные данные с правами чтения. Возможность работы с драйверами не меняет существующие права пользователей Glarus BI.

Источник	Доступные данные
amoCRM	Лиды, контакты, компании, воронки и события.
Битрикс24	Лиды, контакты, компании, сделки, стадии сделок и активности.
Ozon Seller	Отправления FBS и FBO, товары, остатки, транзакции и аналитика.
VK Ads	Кампании, рекламные планы и ежедневная статистика.
Wildberries	Заказы и продажи.
Яндекс.Директ	Отчёты по дням, кампаниям, группам и объявлениям: показы, клики и расход.
Яндекс.Маркет	Кампании, заказы, продажи, товары, цены и остатки.

Интеграция с 1С через промежуточную БД

Администратор 1С организует выгрузку в промежуточную базу данных средствами обмена своей конфигурации или внешней обработкой. Glarus BI подключается к этой базе обычным драйвером: настройка выгрузки на стороне 1С выполняется отдельно. Для сценария с материализацией в исходной базе проверен PostgreSQL.

1С → выгрузка администратора → промежуточная PostgreSQL
  → подключение Glarus BI → ETL «Архитектора данных»
  → таблица-витрина → вопросы и дашборды

В «Архитекторе данных» создайте SQL-преобразование над выгруженными таблицами. Выберите целевую таблицу в исходной базе либо настроенное администратором общее хранилище ClickHouse. Для записи в исходную базу нужны права на создание, удаление и заполнение таблицы; SQL-диалект должен поддерживать CREATE TABLE AS и DROP TABLE IF EXISTS.

Полный пересчёт заново создаёт витрину. Инкремент с колонкой-курсором добавляет строки, у которых курсор строго больше последнего сохранённого значения. Изменения старых строк, удаления и опоздавшие записи с прежним курсором такой режим сам не переносит; при необходимости нужен полный пересчёт или отдельно спроектированная схема обновления.

Преобразование можно запустить вручную или по cron-расписанию. История показывает время, результат и ошибки запусков. Пример: сначала проверьте ручной пересчёт и данные витрины, затем включите расписание после завершения выгрузки 1С. Расписание Glarus BI не запускает выгрузку на стороне 1С.

Вариант без отдельного ETL — модель над промежуточной базой и её расширенное кэширование в ClickHouse по расписанию. Администратор включает кэширование, выбирает общее хранилище и настраивает обновление. Для запросов к расширенному кэшу выберите созданную таблицу ClickHouse: запрос к исходной модели автоматически туда не перенаправляется; список источников и ограничения приведены на странице «Кэширование моделей». Уведомления администраторам об ошибках обновления кэша требуют настроенной отправки почты. Автоматическую рассылку ошибок отдельного SQL-преобразования следует организовать отдельно.

Загрузка таблиц Excel

Glarus BI импортирует книги XLS, XLSX, XLSM и ODS: каждый лист становится отдельной таблицей, первая строка задаёт заголовки, используются значения ячеек и сохранённые результаты формул; макросы не исполняются. Настройка хранилища и пошаговая загрузка описаны в разделе «Импорт файлов Excel».

При импорте доступны варианты загрузки данных:

• "Перезаписать" заменяет ранее загруженные данные из файла с тем же именем;

• "Дополнить" дописывает данные к ранее загруженным из файла с тем же именем;

• "Создать новую таблицу с суффиксом текущей даты" создаёт новую таблицу для данных, добавляя дату и время импорта к названию.

Вы сможете объединить новые данные с данными из других источников. Система позволяет загружать данные из Excel в PostgreSQL и ClickHouse.

Доступна информация о дате и времени загрузки данных, что удобно в случае многократного импорта в одну таблицу в режиме дополнения. Например, при периодической загрузке финансовых данных из 1С. Информация доступна в специальном поле "glarus_load_dttm".

Для корректной работы загрузки администратор должен включить её в настройках подключения к базе данных.

Фильтр схем PostgreSQL «Все, кроме»

Подключение PostgreSQL с фильтром схем «Все, кроме» нельзя назначить хранилищем Excel: исключённая схема не должна использоваться для записи импортируемых данных.

Если такое подключение выбрано, Glarus BI оставит переключатель выключенным, сохранит прежнее действующее хранилище и покажет причину отказа. Сначала выберите в настройках схем режим «Все» или «Только эти», сохраните подключение и затем включите хранилище Excel.

ClickHouse "из коробки"

Колоночная аналитическая СУБД для онлайн-аналитики поставляется вместе с Glarus BI в предварительно настроенном виде. ClickHouse рекомендуется как последний слой интеграции всех данных и визуализации.

Поддержка репликации в ClickHouse

Поддерживается работа с кластером ClickHouse: переключатель в настройках подключения к БД позволит включить режим репликации и ввести имя вашего кластера. Далее вы работаете с данными как обычно, драйвер сообщает СУБД все необходимые параметры, а СУБД заботится о шардировании и репликации. Возможно использование кластера ClickHouse как хранилища кэша моделей и файлов Excel — в этом случае данные будут отправляться на каждый узел, повышая отказоустойчивость.

Расширенные возможности ETL

Доступно сохранение модели данных из одного источника в другой совместимый источник: более производительный и лучше подходящий для работы с вашими данными (по умолчанию это ClickHouse).

ETL (Extract, Transformation and Load) — это процесс, включающий извлечение данных из разных источников, их преобразование для очистки, стандартизации, предварительных вычислений и последующую загрузку в аналитическую платформу. Он позволяет обеспечить согласованность и удобство анализа данных, поступающих из различных источников, с единой системой вычисления показателей.

В Glarus BI вы можете подключить разнообразные источники, для которых есть JDBC-драйвер, загружать данные из CSV и XLSX-файлов. Данные из источника загружаются в выбранную базу данных через механизм кэширования моделей. При этом можно произвести необходимые вычисления или проверки на качество, используя код SQL-запроса.

Мы улучшили механизм ETL. Теперь чтение данных происходит порциями с записью статистики в лог и метаданные, что позволяет лучше контролировать процесс в случае работы с объёмными базами.

Дополнительную информацию можно получить в нашем обучающем ролике на Rutube.

Сохранение модели данных из интерфейса системы напрямую в ClickHouse

Администратору в разделе Управление > Производительность > Кэширование модели доступно включение сохранения и настройка обновления кэша моделей. В Управление > Базы данных он может выбрать, откуда кэшировать данные и куда, выбрав подключение в качестве источника и целевого хранилища кэша моделей.

Как только система выполнит задание, таблица модели появится в хранилище. Это можно увидеть по журналам в разделе Управление > Инструменты.

Никакой ручной работы в консоли и написания скриптов.

Приоритет кэширования моделей

Как показала практика, иногда нужна возможность вмешаться в кэширование моделей — вручную изменить порядок обновления кэша.

По умолчанию обновление выполняется в порядке создания таблиц моделей (по ID). Такой вариант подходит не для всех случаев, особенно когда вы часто создаёте новые модели на основе существующих, затем меняете их определение.

Для этого мы добавили поле ввода приоритета обновления кэша и вывели значения приоритета в списке моделей, чтобы вы видели общую картину.

Приоритет обновления задаётся в блоке информации о модели. Чем выше значение — тем раньше будет обновлена соответствующая таблица в хранилище. Вводить его в настройки всех моделей не нужно — достаточно повысить приоритет необходимых, значения можно повторять. Ноль означает обычный порядок и используется по умолчанию.

В списке моделей доступна сортировка по приоритету обновления.

Загрузка данных из CSV-файлов по FTP

Подключение CSV читает файлы из каталога на сервере Glarus BI или копирует их с FTP в локальный каталог чтения. В поле Directory укажите серверный путь либо FTP-адрес. Доступность каталога, права чтения и FTP-доступ настраивает администратор.

Параметр	Назначение
Separator	Разделитель столбцов, например точка с запятой.
Charset	Кодировка содержимого, поддерживаемая Java, например windows-1251 или UTF-8.
FTP control encoding	Кодировка управляющего канала FTP и имён файлов; задаётся отдельно от Charset. Значение по умолчанию — UTF-8.
Advanced	Дополнительные параметры CSV JDBC. Для текстовых файлов с расширением .txt можно указать &fileExtension=.txt; их содержимое должно оставаться таблицей с выбранным разделителем.

Отдельного таймера периодического скачивания FTP-файлов у CSV-подключения нет. Для регулярного обмена администратор организует обновление файлов и проверяет, когда подключение видит новые версии. Расписание SQL-преобразования в «Архитекторе данных» может обновлять витрину из доступных драйверу данных; оно не заменяет настройку доставки и актуальности FTP-файлов.