Импорт данных в таблицу из бакета OBS
Перед импортом файла в таблицу DLI необходимо сделать следующее:
При этом импортированный файл должен быть в формате CSV, Parquet, ORC, JSON или Avro. Текстовый формат должен быть UTF-8.
После того, как файл с данными был загружен в бакет OBS, можно приступать к импорту данных в таблицу DLI.
Импортировать данные можно через Data Management или через SQL Editor.
На этой странице:
Импорт данных через Data Management
Выберите .
В боковом меню слева выберите .
Нажмите на имя базы данных с таблицей, в которую будет импортирован файл, или в строке с ней на Manage Tables.
В строке с нужной таблицей нажмите More и выберите из списка Import.
Далее перейдите к заполнению параметров Import Data.
Импорт данных через SQL Editor
Выберите .
В боковом меню слева выберите SQL Editor.
Выберите вкладку Databases и нажмите на имя нужной базы данных.
В строке с нужной таблицей нажмите на значок
и выберите из списка Import.
Далее перейдите к заполнению параметров Import Data.
Параметры Import Data
Заполните следующие поля и нажмите ОК:
File Format — выберите из списка нужный формат файла. Поддерживаются форматы CSV, Parquet, ORC, JSON и Avro.
Queue — выберите очередь.
Path — нажмите на значок
и укажите путь к файлу в бакете OBS.Примечание
Поля ниже заполняются при включенном переключателе Advanced Settings у файлов CSV или JSON форматов.
Table Header: No/Yes (только для файлов CSV формата) — включите опцию, если у загружаемой таблицы есть заголовок (Table Header: Yes).
User-defined Delimiter (только для файлов CSV формата) — включите опцию, чтобы выбрать разделитель или определить свой (Others).
Значение по умолчанию — запятая (
,).User-defined Quotation Character (только для файлов CSV формата) — включите опцию, чтобы выбрать символ кавычек или определить свой (Others).
Значение по умолчанию — двойные кавычки (
“).User-defined Escape Character (только для файлов CSV формата) — включите опцию, чтобы выбрать escape-символ или определить свой (Others).
Значение по умолчанию — обратная косая черта (
\).Date Format (только для файлов CSV или JSON формата) — укажите формат даты в таблице.
Значение по умолчанию —
ГГГГ-ММ-ДД.Timestamp Format (только для файлов CSV или JSON формата) — укажите формат времени в таблице.
Значение по умолчанию —
ГГГГ-ММ-ДД ЧЧ:мм:сс.Error Records Path (только для файлов CSV или JSON формата) — нажмите на значок
и укажите путь, где нужно сохранить данные об ошибках.
для Dev & Test