Источники данных¶
Загрузка таблиц Excel¶
Glarus BI позволяет превратить данные из файлов .xlsx, .xlsm в полноценную модель для исследований всего в несколько щелчков.
При импорте доступны варианты загрузки данных: перезаписью данных в таблице, в дополнение к существующей и в новую таблицу:
-
"Перезаписать" заменяет ранее загруженные данные из файла с тем же именем;
-
"Дополнить" дописывает данные к ранее загруженным из файла с тем же именем;
-
"Создать новую таблицу с суффиксом текущей даты" создаёт новую таблицу для данных, добавляя дату и время импорта к названию.
Вы сможете объединить новые данные с данными из других источников. Система позволяет загружать данные из Excel в PostgreSQL и ClickHouse.
Доступна информация о дате и времени загрузки данных, что удобно в случае многократного импорта в одну таблицу в режиме дополнения. Например, при периодической загрузке финансовых данных из 1С. Информация доступна в специальном поле "glarus_load_dttm".
Для корректной работы загрузки администратор должен разрешить её в настройках подключения к базе данных.
ClickHouse "из коробки"¶
Столбцовая СУБД для онлайн-аналитики поставляется вместе с Glarus BI в предварительно настроенном виде. ClickHouse рекомендуется как последний слой интеграции всех данных и визуализации.
Расширенные возможности ETL¶
Доступно сохранение модели данных из одного источника в другой совместимый источник: более производительный и лучше подходящий для работы с вашими данными.
ETL (Extract, Transformation and Load) — это процесс включающий извлечение данных из разных источников, их преобразование для очистки, стандартизации, предварительных вычислений и последующую загрузку в аналитическую платформу. Он позволяет обеспечить согласованность и удобство анализа данных, поступающих из различных источников, с единой системой вычисления показателей.
В Glarus BI подключаются фактически любые базы данных, для которых есть JDBC-драйвер. Источниками также могут служить CSV-файлы, загружаемые через FTP, и Excel-файлы, загружаемые непосредственно через интерфейс Glarus BI. Данные из источника загружаются в выбранную базу данных через модель данных. При этом можно произвести необходимые вычисления или проверки на качество, используя код SQL-запроса.
Мы улучшили механизм ETL. Теперь чтение данных происходит порциями с записью статистики в лог и метаданные, что позволяет лучше контролировать процесс в случае работы с объёмными базами.
Дополнительную информацию можно получить в нашем обучающем ролике на Rutube.
Сохранение модели данных из интерфейса системы напрямую в ClickHouse¶
Администратору в разделе Управление > Производительность > Персистентность модели доступно включение сохранения и настройка обновления моделей. В Управление > Базы данных в настройках подключения к ClickHouse он может разрешить сохранение моделей, а в настройках подключения к источнику включить кэширование модели.
Как только система выполнит задание, модель будет создана. Это можно увидеть по журналу и в разделе Управление > Инструменты.
Никакой ручной работы в консоли и написания скриптов.
Загрузка данных из CSV-файлов по FTP¶
К драйверу CSV добавлена поддержка протокола FTP. Вы можете размещать файлы для загрузки на FTP-сервере, система будет их импортировать по расписанию.