From ff82bf653df86dfbc8e4b851e11d421f64195034 Mon Sep 17 00:00:00 2001 From: anton-bobkov Date: Fri, 12 Sep 2025 16:17:54 +0300 Subject: [PATCH 1/5] Add a warning about dump/restore of column-based tables (#22746) --- .../limitation-dump-column-tables.md | 5 ++ .../limitation-restore-column-tables.md | 5 ++ .../export-import/_includes/tools-dump.md | 36 +++++++++- .../export-import/_includes/tools-restore.md | 66 +++++++++++++++++++ 4 files changed, 111 insertions(+), 1 deletion(-) create mode 100644 ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-dump-column-tables.md create mode 100644 ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-restore-column-tables.md diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-dump-column-tables.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-dump-column-tables.md new file mode 100644 index 000000000000..ae3d2f47647e --- /dev/null +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-dump-column-tables.md @@ -0,0 +1,5 @@ +{% note warning %} + +На текущий момент данная команда не обрабатывает колоночные таблицы. Для экспорта данных из колоночных таблиц можно использовать [внешние источники данных](../../../../concepts/datamodel/external_data_source.md). Подробнее см. в статье [{#T}](../../../../concepts/federated_query/s3/write_data.md#export-to-s3). + +{% endnote %} \ No newline at end of file diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-restore-column-tables.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-restore-column-tables.md new file mode 100644 index 000000000000..6da5932d56e7 --- /dev/null +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-restore-column-tables.md @@ -0,0 +1,5 @@ +{% note warning %} + +На текущий момент данная команда не восстанавливает данные колоночных таблиц (эти данные не выгружаются в резервную копию). Для импорта данных из колоночных таблиц можно использовать [внешние источники данных](../../../../concepts/datamodel/external_data_source.md). Подробнее см. в статье [{#T}](../../../../concepts/federated_query/import_and_export.md#import). + +{% endnote %} diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-dump.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-dump.md index 97771060a0c3..6cadc1aae436 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-dump.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-dump.md @@ -1,11 +1,45 @@ # Выгрузка в файловую систему -Команда `tools dump` выгружает в клиентскую файловую систему данные и информацию об объектах схемы данных, в описанном в статье [Файловая структура](../file-structure.md) формате: +## Кластер {#cluster} + +Команда `admin сluster dump` выгружает в клиентскую файловую систему метаданные кластера, в описанном в статье [{#T}](../file-structure.md) формате: + +```bash +{{ ydb-cli }} [connection options] admin cluster dump [options] +``` + +{% include [conn_options_ref.md](../../commands/_includes/conn_options_ref.md) %} + +{% include [dump-options.md](./dump-options.md) %} + +[Конфигурация кластера](../../../../devops/configuration-management/configuration-v2/config-overview.md) выгружается отдельно с помощью команды `{{ ydb-cli }} admin cluster config fetch`. + +## База данных {#db} + +Команда `admin database dump` выгружает в клиентскую файловую систему данные и метаданные базы данных, в описанном в статье [{#T}](../file-structure.md) формате: + +```bash +{{ ydb-cli }} [connection options] admin database dump [options] +``` + +{% include [limitation](./limitation-dump-column-tables.md) %} + +{% include [conn_options_ref.md](../../commands/_includes/conn_options_ref.md) %} + +{% include [dump-options.md](./dump-options.md) %} + +[Конфигурация базы данных](../../../../devops/configuration-management/configuration-v2/config-overview.md) выгружается отдельно с помощью команды `{{ ydb-cli }} admin database config fetch`. + +## Объекты схемы данных {#schema-objects} + +Команда `tools dump` выгружает в клиентскую файловую систему данные и информацию об объектах схемы данных, в описанном в статье [{#T}](../file-structure.md) формате: ```bash {{ ydb-cli }} [connection options] tools dump [options] ``` +{% include [limitation](./limitation-dump-column-tables.md) %} + {% include [conn_options_ref.md](../../commands/_includes/conn_options_ref.md) %} `[options]` - параметры команды: diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-restore.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-restore.md index 30e17084bad2..ed5e18e2b6a6 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-restore.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-restore.md @@ -1,11 +1,77 @@ # Загрузка из файловой системы +## Кластер {#cluster} + +Команда `admin cluster restore` восстанавливает метаданные кластера из резервной копии в файловой системе, ранее выгруженной туда командой `admin cluster dump`, или подготовленной вручную в соответствии с правилами, описанными в статье [{#T}](../file-structure.md): + +```bash +{{ ydb-cli }} [connection options] admin cluster restore -i [options] +``` + +{% include [conn_options_ref.md](../../commands/_includes/conn_options_ref.md) %} + +Перед восстановлением целевой кластер должен быть [запущен и проинициализирован](../../../../devops/index.md). + +При восстановлении метаданных кластера создаются базы данных и их администраторы. Дальнейшее восстановление баз данных описано в разделе [База данных](#db). + +{% include [restore-database-nodes.md](./restore-database-nodes.md) %} + +[Конфигурация кластера](../../../../devops/configuration-management/configuration-v2/config-overview.md) восстанавливается отдельно с помощью следующих действий: + +1) Загрузить сохраненную конфигурацию с помощью команды `{{ ydb-cli }} admin cluster config replace`. +2) Перезапустить узлы кластера. + +### Обязательные параметры {#mandatory} + +`-i ` или `--input `: Путь к директории в клиентской файловой системе, откуда будет выполняться загрузка. + +### Необязательные параметры {#optional} + +`[options]` – необязательные параметры команды: + +`--wait-nodes-duration `: Продолжительность ожидания доступных узлов восстанавливаемых баз данных. Пример: `10s`, `5m`, `1h`, `1.5d`, `30`. Продолжительность может выражаться в неделях, днях, часах, минутах, секундах, микросекундах, наносекундах. Если не указать суффикс, то продолжительность является секундами. Продолжительность может быть дробной. Комбинированная продолжительность, как `1h30m`, не поддерживается. Если продолжительность `0`, то ожидание отсутствует. + +## База данных {#db} + +Команда `admin database restore` восстанавливает базу данных из резервной копии на файловой системы, ранее выгруженную туда командой `admin database dump`, или подготовленную вручную в соответствии с правилами, описанными в статье [{#T}](../file-structure.md): + +```bash +{{ ydb-cli }} [connection options] admin database restore -i [options] +``` + +{% include [limitation](./limitation-restore-column-tables.md) %} + +{% include [conn_options_ref.md](../../commands/_includes/conn_options_ref.md) %} + +{% include [restore-database-nodes.md](./restore-database-nodes.md) %} + +Восстановление схемных объектов базы данных происходит также, как и описано в разделе [Объекты схемы данных](#schema-objects). + +[Конфигурация базы данных](../../../../devops/configuration-management/configuration-v2/config-overview.md) восстанавливается отдельно с помощью следующих действий: + +1) Загрузить сохранненую конфигурацию с помощью команды `{{ ydb-cli }} admin database config replace`. +2) Перезапустить узлы базы данных. + +### Обязательные параметры {#mandatory} + +`-i ` или `--input `: Путь к директории в клиентской файловой системе, откуда будет выполняться загрузка. + +### Необязательные параметры {#optional} + +`[options]` – необязательные параметры команды: + +`--wait-nodes-duration `: Продолжительность ожидания доступных узлов восстанавливаемой базы данных. Пример: `10s`, `5m`, `1h`, `1.5d`, `30`. Продолжительность может выражаться в неделях, днях, часах, минутах, секундах, микросекундах, наносекундах. Если не указать суффикс, то продолжительность является секундами. Продолжительность может быть дробной. Комбинированная продолжительность, как `1h30m`, не поддерживается. Если продолжительность `0`, то ожидание отсутствует. + +## Объекты схемы данных {#schema-objects} + Команда `tools restore` создает в базе данных объекты схемы данных и загружает в них данные из файловой системы, ранее выгруженные туда командой `tools dump`, или подготовленные вручную в соответствии с правилами, описанными в статье [Файловая структура](../file-structure.md): ```bash {{ ydb-cli }} [connection options] tools restore -p PATH -i PATH [options] ``` +{% include [limitation](./limitation-restore-column-tables.md) %} + {% include [conn_options_ref.md](../../commands/_includes/conn_options_ref.md) %} Если таблица или директория уже существует в базе данных, изменения в её схему или ACL внесены не будут. Это может привести к тому, что операция загрузки данных окажется невозможной, если не все колонки из загружаемых файлов присутствуют в таблице или если есть несоответствия по типам данных. From 505f6bd8a44efbe878336c4d520d6be050df8c13 Mon Sep 17 00:00:00 2001 From: anton-bobkov Date: Fri, 12 Sep 2025 20:00:52 +0300 Subject: [PATCH 2/5] Update tools-restore.md --- .../export-import/_includes/tools-restore.md | 64 ------------------- 1 file changed, 64 deletions(-) diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-restore.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-restore.md index ed5e18e2b6a6..074896b0c1d0 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-restore.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-restore.md @@ -1,69 +1,5 @@ # Загрузка из файловой системы -## Кластер {#cluster} - -Команда `admin cluster restore` восстанавливает метаданные кластера из резервной копии в файловой системе, ранее выгруженной туда командой `admin cluster dump`, или подготовленной вручную в соответствии с правилами, описанными в статье [{#T}](../file-structure.md): - -```bash -{{ ydb-cli }} [connection options] admin cluster restore -i [options] -``` - -{% include [conn_options_ref.md](../../commands/_includes/conn_options_ref.md) %} - -Перед восстановлением целевой кластер должен быть [запущен и проинициализирован](../../../../devops/index.md). - -При восстановлении метаданных кластера создаются базы данных и их администраторы. Дальнейшее восстановление баз данных описано в разделе [База данных](#db). - -{% include [restore-database-nodes.md](./restore-database-nodes.md) %} - -[Конфигурация кластера](../../../../devops/configuration-management/configuration-v2/config-overview.md) восстанавливается отдельно с помощью следующих действий: - -1) Загрузить сохраненную конфигурацию с помощью команды `{{ ydb-cli }} admin cluster config replace`. -2) Перезапустить узлы кластера. - -### Обязательные параметры {#mandatory} - -`-i ` или `--input `: Путь к директории в клиентской файловой системе, откуда будет выполняться загрузка. - -### Необязательные параметры {#optional} - -`[options]` – необязательные параметры команды: - -`--wait-nodes-duration `: Продолжительность ожидания доступных узлов восстанавливаемых баз данных. Пример: `10s`, `5m`, `1h`, `1.5d`, `30`. Продолжительность может выражаться в неделях, днях, часах, минутах, секундах, микросекундах, наносекундах. Если не указать суффикс, то продолжительность является секундами. Продолжительность может быть дробной. Комбинированная продолжительность, как `1h30m`, не поддерживается. Если продолжительность `0`, то ожидание отсутствует. - -## База данных {#db} - -Команда `admin database restore` восстанавливает базу данных из резервной копии на файловой системы, ранее выгруженную туда командой `admin database dump`, или подготовленную вручную в соответствии с правилами, описанными в статье [{#T}](../file-structure.md): - -```bash -{{ ydb-cli }} [connection options] admin database restore -i [options] -``` - -{% include [limitation](./limitation-restore-column-tables.md) %} - -{% include [conn_options_ref.md](../../commands/_includes/conn_options_ref.md) %} - -{% include [restore-database-nodes.md](./restore-database-nodes.md) %} - -Восстановление схемных объектов базы данных происходит также, как и описано в разделе [Объекты схемы данных](#schema-objects). - -[Конфигурация базы данных](../../../../devops/configuration-management/configuration-v2/config-overview.md) восстанавливается отдельно с помощью следующих действий: - -1) Загрузить сохранненую конфигурацию с помощью команды `{{ ydb-cli }} admin database config replace`. -2) Перезапустить узлы базы данных. - -### Обязательные параметры {#mandatory} - -`-i ` или `--input `: Путь к директории в клиентской файловой системе, откуда будет выполняться загрузка. - -### Необязательные параметры {#optional} - -`[options]` – необязательные параметры команды: - -`--wait-nodes-duration `: Продолжительность ожидания доступных узлов восстанавливаемой базы данных. Пример: `10s`, `5m`, `1h`, `1.5d`, `30`. Продолжительность может выражаться в неделях, днях, часах, минутах, секундах, микросекундах, наносекундах. Если не указать суффикс, то продолжительность является секундами. Продолжительность может быть дробной. Комбинированная продолжительность, как `1h30m`, не поддерживается. Если продолжительность `0`, то ожидание отсутствует. - -## Объекты схемы данных {#schema-objects} - Команда `tools restore` создает в базе данных объекты схемы данных и загружает в них данные из файловой системы, ранее выгруженные туда командой `tools dump`, или подготовленные вручную в соответствии с правилами, описанными в статье [Файловая структура](../file-structure.md): ```bash From 4293d42dd6c673811a2660a9961c74e29c5b79c8 Mon Sep 17 00:00:00 2001 From: anton-bobkov Date: Fri, 12 Sep 2025 20:03:32 +0300 Subject: [PATCH 3/5] Update tools-dump.md --- .../export-import/_includes/tools-dump.md | 32 ------------------- 1 file changed, 32 deletions(-) diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-dump.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-dump.md index 6cadc1aae436..de389e10ce8b 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-dump.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/tools-dump.md @@ -1,37 +1,5 @@ # Выгрузка в файловую систему -## Кластер {#cluster} - -Команда `admin сluster dump` выгружает в клиентскую файловую систему метаданные кластера, в описанном в статье [{#T}](../file-structure.md) формате: - -```bash -{{ ydb-cli }} [connection options] admin cluster dump [options] -``` - -{% include [conn_options_ref.md](../../commands/_includes/conn_options_ref.md) %} - -{% include [dump-options.md](./dump-options.md) %} - -[Конфигурация кластера](../../../../devops/configuration-management/configuration-v2/config-overview.md) выгружается отдельно с помощью команды `{{ ydb-cli }} admin cluster config fetch`. - -## База данных {#db} - -Команда `admin database dump` выгружает в клиентскую файловую систему данные и метаданные базы данных, в описанном в статье [{#T}](../file-structure.md) формате: - -```bash -{{ ydb-cli }} [connection options] admin database dump [options] -``` - -{% include [limitation](./limitation-dump-column-tables.md) %} - -{% include [conn_options_ref.md](../../commands/_includes/conn_options_ref.md) %} - -{% include [dump-options.md](./dump-options.md) %} - -[Конфигурация базы данных](../../../../devops/configuration-management/configuration-v2/config-overview.md) выгружается отдельно с помощью команды `{{ ydb-cli }} admin database config fetch`. - -## Объекты схемы данных {#schema-objects} - Команда `tools dump` выгружает в клиентскую файловую систему данные и информацию об объектах схемы данных, в описанном в статье [{#T}](../file-structure.md) формате: ```bash From ac3a389b17cf07e49a68f8450fbfc43745ccbf13 Mon Sep 17 00:00:00 2001 From: anton-bobkov Date: Fri, 12 Sep 2025 20:08:33 +0300 Subject: [PATCH 4/5] Update limitation-restore-column-tables.md --- .../export-import/_includes/limitation-restore-column-tables.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-restore-column-tables.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-restore-column-tables.md index 6da5932d56e7..94d85c43e772 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-restore-column-tables.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-restore-column-tables.md @@ -1,5 +1,5 @@ {% note warning %} -На текущий момент данная команда не восстанавливает данные колоночных таблиц (эти данные не выгружаются в резервную копию). Для импорта данных из колоночных таблиц можно использовать [внешние источники данных](../../../../concepts/datamodel/external_data_source.md). Подробнее см. в статье [{#T}](../../../../concepts/federated_query/import_and_export.md#import). +На текущий момент данная команда не восстанавливает данные колоночных таблиц (эти данные не выгружаются в резервную копию). Для импорта данных из колоночных таблиц можно использовать [внешние источники данных](../../../../concepts/datamodel/external_data_source.md). {% endnote %} From 593606c091295b84ccf42506781e427da09f2921 Mon Sep 17 00:00:00 2001 From: anton-bobkov Date: Fri, 12 Sep 2025 20:08:55 +0300 Subject: [PATCH 5/5] Update limitation-dump-column-tables.md --- .../export-import/_includes/limitation-dump-column-tables.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-dump-column-tables.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-dump-column-tables.md index ae3d2f47647e..ea28f6abf328 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-dump-column-tables.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/limitation-dump-column-tables.md @@ -1,5 +1,5 @@ {% note warning %} -На текущий момент данная команда не обрабатывает колоночные таблицы. Для экспорта данных из колоночных таблиц можно использовать [внешние источники данных](../../../../concepts/datamodel/external_data_source.md). Подробнее см. в статье [{#T}](../../../../concepts/federated_query/s3/write_data.md#export-to-s3). +На текущий момент данная команда не обрабатывает колоночные таблицы. Для экспорта данных из колоночных таблиц можно использовать [внешние источники данных](../../../../concepts/datamodel/external_data_source.md). -{% endnote %} \ No newline at end of file +{% endnote %}