Источники данных

Загрузка таблиц Excel

Glarus BI позволяет превратить данные из файлов .xlsx, .xlsm в полноценную модель для исследований всего в несколько щелчков.

При импорте доступны варианты загрузки данных: перезаписью данных в таблице, в дополнение к существующей и в новую таблицу:

• "Перезаписать" заменяет ранее загруженные данные из файла с тем же именем;

• "Дополнить" дописывает данные к ранее загруженным из файла с тем же именем;

• "Создать новую таблицу с суффиксом текущей даты" создаёт новую таблицу для данных, добавляя дату и время импорта к названию.

Вы сможете объединить новые данные с данными из других источников. Система позволяет загружать данные из Excel в PostgreSQL и ClickHouse.

Доступна информация о дате и времени загрузки данных, что удобно в случае многократного импорта в одну таблицу в режиме дополнения. Например, при периодической загрузке финансовых данных из 1С. Информация доступна в специальном поле "glarus_load_dttm".

Для корректной работы загрузки администратор должен разрешить её в настройках подключения к базе данных.

ClickHouse "из коробки"

Столбцовая СУБД для онлайн-аналитики поставляется вместе с Glarus BI в предварительно настроенном виде. ClickHouse рекомендуется как последний слой интеграции всех данных и визуализации.

Расширенные возможности ETL

Доступно сохранение модели данных из одного источника в другой совместимый источник: более производительный и лучше подходящий для работы с вашими данными.

ETL (Extract, Transformation and Load) — это процесс включающий извлечение данных из разных источников, их преобразование для очистки, стандартизации, предварительных вычислений и последующую загрузку в аналитическую платформу. Он позволяет обеспечить согласованность и удобство анализа данных, поступающих из различных источников, с единой системой вычисления показателей.

В Glarus BI подключаются фактически любые базы данных, для которых есть JDBC-драйвер. Источниками также могут служить CSV-файлы, загружаемые через FTP, и Excel-файлы, загружаемые непосредственно через интерфейс Glarus BI. Данные из источника загружаются в выбранную базу данных через модель данных. При этом можно произвести необходимые вычисления или проверки на качество, используя код SQL-запроса.

Мы улучшили механизм ETL. Теперь чтение данных происходит порциями с записью статистики в лог и метаданные, что позволяет лучше контролировать процесс в случае работы с объёмными базами.

Дополнительную информацию можно получить в нашем обучающем ролике на Rutube.

Сохранение модели данных из интерфейса системы напрямую в ClickHouse

Администратору в разделе Управление > Настройки > Кэширование доступно включение кэширования и настройка обновления моделей. В Управление > Базы данных в настройках подключения к ClickHouse он может разрешить сохранение моделей, а в настройках подключения к источнику включить кэширование модели.

Как только система выполнит задание, модель будет создана. Это можно увидеть по журналу и в разделе Управление > Инструменты.

Никакой ручной работы в консоли и написания скриптов.

Загрузка данных из CSV-файлов по FTP

К драйверу CSV добавлена поддержка протокола FTP.

Физическое удаление таблицы из базы

В предыдущих версиях при удалении таблицы данные не удалялись физически из базы, а помечались как удалённые. В новой версии происходит физическое удаление таблицы из базы данных. Это позволяет экономнее использовать устройства хранения, соответствует современным требованиям, предъявляемым к конфиденциальности и безопасности данных, но требует от администратора и пользователей с расширенными правами большей осторожности в действиях.

Удаление доступно в разделе "Просмотр данных".