Перейти к содержанию

Загрузка данных

После того как вы включили загрузку, вы можете загружать файлы в формате CSV в коллекцию в Glarus BI.

Upload CSV data to a collection in Metabase

Загрузка данных из CSV-файлов наиболее востребована при ad hoc-анализе табличных данных. Если вы работаете с большим объёмом данных или вам нужно регулярно обновлять или дополнять ваши данные, то мы рекомендуем настроить способ загрузки этих данных напрямую в базу данных, а затем подключить Glarus BI к этой базе данных.

Что нужно сделать для разрешения загрузки

Чтобы разрешить загрузку CSV-файлов, администратору нужно выполнить следующие действия:

Базы данных, поддерживающие загрузку

Подключиться к базе данных, используя учётную запись пользователя с правом записи

Чтобы загрузить данные в Glarus BI, администратору необходимо подключить вашу Glarus BI к базе данных, которая поддерживает загрузки, используя учётную запись пользователя базы данных, имеющегося права записи в эту базу данных.

Вы также можете загрузить данные в тестовую базу Sample Database, входящую в состав Glarus BI (база данных H2), но мы не рекомендуем использовать тестовую базу Sample Database для хранения каких-либо данных.

Для получения дальнейшей информации, рекомендуем ознакомиться с:

Выбрать базу данных и схему, в которых будут храниться данные

Если Glarus BI подключена к базе данных с использованием учётной записи пользователя базы данных, имеющего права записи, Администраторы могут включить возможность загрузки следующим образом:

  • Щёлкнуть на значке шестерёнки справа вверху на домашней странице и перейти в Управление > Настройки > Загрузки.
  • Выбрать базу данных, в которой Glarus BI будет сохранять данные.

Когда пользователь загрузит CSV-файл в коллекцию, Glarus BI сделает следующее:

  1. Создаст таблицу для хранений данных в базе данных и схему, которую Администратор выбрал для хранения загрузок.
  2. Создаст модель, охватывающую загруженную таблицу, и сохранит эту модель в коллекцию, в которую пользователь сохранил CSV.

Автоматическая генерация первичного ключа

Когда вы загружаете CSV-файл, то в качестве первого (крайнего левого) столбца загруженной CSV-таблицы Glarus BI создаст уникальный столбец первичного ключа, называемый _mb_row_id. Этот столбец _mb_row_id будет содержать автоматически сгенерированные целые числа. Glarus BI будет игнорировать любые столбцы в загрузке, имеющие названия, которые должны будут быть созданы в базе данных с тем же именем, что и автоматически сгенерированный столбец первичного ключа (например, _MB row-ID из CSV станет _mb_row_id или _MB_ROW_ID в базе данных).

Если вам не нужен этот автоматически созданный столбец идентификатора, вы всегда можете удалить его из созданной модели, созданной Glarus BI. Посетите модель, нажмите значок информации i, затем Сведения о модели. На странице сведений о модели нажмите кнопку Изменить определение. В разделе "Данные" конструктора запросов нажмите стрелку вниз рядом с таблицей, отмените выбор добавленного столбца идентификатора и сохраните изменения.

Добавить людей в группу с неограниченным доступом к схеме загрузки

Чтобы загружать CSV-файлы, пользователь должен состоять в группе с неограниченным доступом к схеме, которую вы выбрали для хранения загружаемых данных. При этом для загрузки данных пользователю не требуются права на действие Редактирование прямых запросов (Native query editing). См. "Управление пользователями и группами" и "Разрешения на данные".

Установка префикса, добавляемого к загружаемым в Glarus BI таблицам

Администраторы при необходимости могут указать префикс, который будет добавлен к названию таблицы, создаваемой Glarus BI для загружаемых данных.

Ограничение на размер файла

Размер загружаемого CSV-файла не может превышать 50 Мбайт.

Если ваш файл имеет размер более 50 Мбайт, сделайте так:

  1. Разделите информацию на несколько файлов.
  2. Загрузите получившиеся файлы один за другим. Glarus BI создаст новую модель для каждого листа.
  3. Объедините данные, создав новый запрос или модель, которые присоединят данные из моделей, созданных для каждой из загрузок.

Форматы даты и времени

На данный момент Glarus BI распознаёт даты и даты со временем из строк в загруженных CSV-файлах в следующих форматах:

Дата (Date)

Содержит год, месяц и день без информации о времени.

Формат: yyyy-MM-dd

Пример: 2023-01-01

Дата и время (Datetime)

Содержит год, месяц, день, час. Минуты, секунды и доли секунды не являются обязательными.

Формат: yyyy-MM-ddTHH:mm:ss.SSS. Разделитель "T" может быть заменён пробелом (" ").

Примеры:

  • 2023-01-01 00
  • 2023-01-01 00:00:00.000
  • 2023-01-01T00:00:00.000
  • 2023-01-01 00:00:00.0000000

Дата и время со смещением (Datetime with offset)

Содержит дату и время со смещением от всемирного координированного времени (UTC). Минуты и секунды в смещении не являются обязательными.

Форматы:

Форматы даты-времени:

  • yyyy-MM-ddTHH:mm.
  • yyyy-MM-ddTHH:mm:ss.
  • yyyy-MM-ddTHH:mm:ss.SSS (and any number of S's).

Разделитель "T" может быть заменён пробелом (" ").

Смещения:

  • Z (для UTC)
  • +HH или -HH
  • +HH:mm или -HH:mm
  • +HH:mm:ss или -HH:mm:ss

Примеры:

  • 2023-01-01 00:00:00+00:00:00
  • 2023-01-01T00:00:00+00:00:00

Удаление моделей и таблиц, созданных загрузками

Модели

Вы можете отправить модель в архив, нажав кнопку … вверху справа, и выбрав Архив.

Для окончательного удаления модели, см. Безвозвратное удаление элементов.

Таблицы

Вам придется удалять таблицу непосредственно в базе данных (не в Glarus BI). О том как удалять таблицы, читайте в документации к своей базе данных.

Примечания по загрузке данных в базу данных MySQL

Для ускорения загрузки в базу данных MySQL, рекомендуем установить значение параметра local_infile в ON. Значение параметра local_infile нужно установить в MySQL, а не в Glarus BI. Формат командной строки: --local-infile=ON.

Если параметр local_infile выключен (т.е. равен OFF), Glarus BI автоматически перейдёт к намного более медленной загрузке CSV-файлов.

Дополнительная информация: