Перейти к содержанию

Настройка загрузки данных

На этой странице рассказывается, как администраторы могут настроить загрузку данных, чтобы пользователи могли загружать CSV-файлы в вашу систему Glarus BI. О том, как загружать данные после настройки, читайте в разделе Загрузка данных.

Загрузка данных CSV в коллекцию в Glarus BI

Загрузка данных из CSV-файлов наиболее подходит для ad hoc-анализа табличных данных. Если у вас много данных или вам нужно регулярно обновлять или дополнять эти данные, мы рекомендуем настроить способ загрузки этих данных непосредственно в базу данных, а затем подключить Glarus BI к этой базе данных.

Управление настройками загрузки

Для управления настройками загрузки администраторы могут нажать Сmd/Сtrl + K и найти Настройки - Загрузка данных, или нажать на значок шестерёнки в правом верхнем углу и перейти в Управление > Настройки > Загрузка данных.

Базы данных, поддерживающие загрузки

Настройка загрузок

Администраторам необходимо выполнить несколько действий для поддержки загрузки CSV-файлов:

Подключиться к базе данных, используя учётную запись пользователя с правами записи

Чтобы загрузить данные в Glarus BI, администратору необходимо подключить систему к базе данных, поддерживающей загрузки, используя учётную запись пользователя базы данных, имеющего право записи в эту базу данных.

Вы также можете загружать данные в тестовую базу данных, включённую в Glarus BI (база данных H2), хотя мы не рекомендуем использовать тестовую базу данных для данных, которые вы хотите сохранить надолго.

Для получения дополнительной информации см.:

Выбрать базу данных и схему для хранения данных

Если Glarus BI подключён к базе данных с использованием учётной записи пользователя базы данных с правами записи, администраторы могут включить загрузки следующим образом:

  • Нажать на значок шестерёнки в правом верхнем углу на главной странице и перейти в Управление > Настройки > Загрузка данных.
  • Выбрать базу данных, которую Glarus BI должен использовать для хранения данных.

Когда пользователи загружают CSV в коллекцию, Glarus BI будет:

  • Создавать таблицу для хранения этих данных в базе данных и схеме, которые администратор выбрал для хранения загрузок.
  • Создавать модель, которая оборачивает загруженную таблицу, и сохранять эту модель в коллекцию, в которую пользователь загрузил данные CSV.

Указать префикс, который Glarus BI будет добавлять к загруженным таблицам

Администраторы могут по желанию указать строку текста, которая будет добавляться перед названием таблицы, создаваемой Glarus BI для хранения загруженных данных.

Добавить пользователей в группу с правами доступа к данным в схеме загрузки

Чтобы загружать CSV-файлы, пользователь должен входить в группу, имеющую полный доступ к просмотру данных таблицы и с доступом к конструктору запросов (Создание запросов). Эти разрешения также могут быть применены выше к схеме, которую вы выбрали для хранения загруженных данных. См. группы и разрешения на данные.

Автоматическая генерация первичного ключа

При загрузке CSV Glarus BI создаст уникальный столбец первичного ключа с именем _mb_row_id в качестве первого (крайнего левого) столбца загруженной таблицы CSV. Этот столбец _mb_row_id будет содержать автоматически сгенерированные целые числа. Glarus BI также будет игнорировать любые столбцы в загрузке, имеющие имя, которое в базе данных будет иметь такое же имя, как и автоматически сгенерированный столбец первичного ключа (например, _MB row-ID в CSV будет _mb_row_id или _MB_ROW_ID в базе данных).

Если вам не нужен этот автоматически сгенерированный столбец ID, вы всегда можете удалить его из модели, созданной Glarus BI. Перейдите к модели, нажмите на значок информации i, затем Показать больше об этой модели. На странице сведений о модели нажмите кнопку Изменить определение. В разделе "Данные" конструктора запросов нажмите на стрелку вниз рядом с таблицей, снимите выделение с добавленного столбца ID и сохраните изменения.

Ошибки типов данных

Glarus BI попытается определить тип данных для каждого столбца, но если некоторые записи отличаются от других, Glarus BI может неправильно определить тип. Например, если у вас есть столбец, который начинается с целых чисел, таких как 100, 130, 140, а затем идёт число с плавающей точкой 105.5, Glarus BI может отклонить загрузку. Чтобы исправить это, вам нужно использовать программное обеспечение для работы с электронными таблицами, чтобы настроить форматирование так, чтобы все целые числа были отформатированы как числа с плавающей точкой (например, 100.00, 130.00, 140.00 и так далее) перед загрузкой.

Ограничение размера файла

Предупреждение

CSV-файлы не могут превышать 50 Мбайт.

Хотя Glarus BI ограничивает загрузки до 50 Мбайт, сервер, который вы используете для запуска вашего Glarus BI, может накладывать более низкое ограничение. Например, стандартное ограничение для загрузки клиентов NGINX — 1 Мбайт (документация NGINX, англ.). Поэтому вам может потребоваться изменить настройки сервера, чтобы разрешить загрузки до 50 Мбайт. Пользователям Glarus BI Cloud не нужно об этом беспокоиться.

Если у вас есть файл размером более 50 Мбайт, обходной путь — разделить данные на несколько частей и добавить эти файлы к существующей модели.

Форматы дат

На данный момент Glarus BI распознаёт даты и даты со временем из строк в загруженных CSV только в следующих форматах:

Даты

Представляют год, месяц и день без информации о времени.

Формат: yyyy-MM-dd

Пример: 2023-01-01

Даты со временем

Представляют год, месяц, день, час. Минуты, секунды и доли секунд являются необязательными.

Формат: yyyy-MM-ddTHH:mm:ss.SSS. Разделитель "T" может быть заменен пробелом (" ").

Примеры:

  • 2023-01-01 00
  • 2023-01-01 00:00:00.000
  • 2023-01-01T00:00:00.000
  • 2023-01-01 00:00:00.0000000

Даты со временем и смещением

Представляют дату со временем со смещением от Универсального координированного времени (UTC). Минуты и секунды в смещении являются необязательными.

Форматы:

Форматы даты со временем:

  • yyyy-MM-ddTHH:mm.
  • yyyy-MM-ddTHH:mm:ss.
  • yyyy-MM-ddTHH:mm:ss.SSS (и любое количество символов S).

Разделитель "T" может быть заменен пробелом (" ").

Смещения:

  • Z (для UTC)
  • +HH или -HH
  • +HH:mm или -HH:mm
  • +HH:mm:ss или -HH:mm:ss

Примеры:

  • 2023-01-01 00:00:00+00:00:00
  • 2023-01-01T00:00:00+00:00:00

Удаление моделей и таблиц, созданных загрузками

Удаление моделей, созданных загрузками

Вы можете переместить модель в Корзину, нажав на три точки в правом верхнем углу и выбрав Удалить в корзину.

Для полного удаления моделей см. Окончательное удаление элементов.

Удаление таблиц, созданных загрузками

Для удаления таблиц, созданных загрузками, перейдите в Управление > Настройки > Загрузки.

В разделе Управление загрузками Glarus BI перечислит таблицы, лежащие в основе моделей.

При удалении таблицы Glarus BI даст вам возможность Также отправить все модели и запросы, основанные на этой таблице, в корзину.

Примечание о загрузке данных в базу данных MySQL

Для ускорения загрузки в базу данных MySQL мы рекомендуем установить параметр local_infile в значение ON. Вам нужно установить этот параметр local_infile в MySQL, а не в Glarus BI. Формат командной строки: --local-infile=ON.

Если параметр local_infile отключен (установлен в OFF), Glarus BI автоматически перейдет на гораздо более медленный способ загрузки CSV.

Для дополнительного контекста см.: