From d0be8a55a17271206ebafa8cf4b6fdb040ca3c55 Mon Sep 17 00:00:00 2001 From: anton-bobkov Date: Tue, 12 Aug 2025 14:44:52 +0300 Subject: [PATCH] Added information about metrics for columnshards (#21479) Co-authored-by: ElenaAfina <144937430+ElenaAfina@users.noreply.github.com> --- .../reference/observability/metrics/index.md | 41 ++++++++++++------- .../reference/observability/metrics/index.md | 41 ++++++++++++------- 2 files changed, 54 insertions(+), 28 deletions(-) diff --git a/ydb/docs/en/core/reference/observability/metrics/index.md b/ydb/docs/en/core/reference/observability/metrics/index.md index fdfd3c48e377..69f3ad7bf6a7 100644 --- a/ydb/docs/en/core/reference/observability/metrics/index.md +++ b/ydb/docs/en/core/reference/observability/metrics/index.md @@ -54,23 +54,36 @@ You can analyze a transaction's execution time using a histogram counter. The in | `table.query.compilation.cache_misses`
`RATE`, pieces | The number of queries in a certain period of time that required query compilation. | | `table.query.execution.latency_milliseconds`
`HIST_RATE`, pieces | Histogram counter. The intervals are set in milliseconds. Shows the number of queries whose execution time falls within a certain interval. | -## Table partition metrics {#datashards} +## Row-oriented table partition metrics {#datashards} | Metric name
Type, units of measurement | Description
Labels | | ----- | ----- | -| `table.datashard.row_count`
`GAUGE`, pieces | The number of rows in DB tables. | -| `table.datashard.size_bytes`
`GAUGE`, bytes | The size of data in DB tables. | -| `table.datashard.used_core_percents`
`HIST_GAUGE`, % | Histogram counter. The intervals are set as a percentage. Shows the number of table partitions using computing resources in the ratio that falls within a certain interval. | -| `table.datashard.read.rows`
`RATE`, pieces | The number of rows that are read by all partitions of all DB tables in a certain period of time. | -| `table.datashard.read.bytes`
`RATE`, bytes | The size of data that is read by all partitions of all DB tables in a certain period of time. | -| `table.datashard.write.rows`
`RATE`, pieces | The number of rows that are written by all partitions of all DB tables in a certain period of time. | -| `table.datashard.write.bytes`
`RATE`, bytes | The size of data that is written by all partitions of all DB tables in a certain period of time. | -| `table.datashard.scan.rows`
`RATE`, pieces | The number of rows that are read through `StreamExecuteScanQuery` or `StreamReadTable` gRPC API calls by all partitions of all DB tables in a certain period of time. | -| `table.datashard.scan.bytes`
`RATE`, bytes | The size of data that is read through `StreamExecuteScanQuery` or `StreamReadTable` gRPC API calls by all partitions of all DB tables in a certain period of time. | -| `table.datashard.bulk_upsert.rows`
`RATE`, pieces | The number of rows that are added through a `BulkUpsert` gRPC API call to all partitions of all DB tables in a certain period of time. | -| `table.datashard.bulk_upsert.bytes`
`RATE`, bytes | The size of data that is added through a `BulkUpsert` gRPC API call to all partitions of all DB tables in a certain period of time. | -| `table.datashard.erase.rows`
`RATE`, pieces | The number of rows deleted from the database in a certain period of time. | -| `table.datashard.erase.bytes`
`RATE`, bytes | The size of data deleted from the database in a certain period of time. | +| `table.datashard.row_count`
`GAUGE`, pieces | The number of rows in all row-oriented tables in the database. | +| `table.datashard.size_bytes`
`GAUGE`, bytes | The size of data in all row-oriented tables in the database. | +| `table.datashard.used_core_percents`
`HIST_GAUGE`, % | Histogram counter. The intervals are set as a percentage. Shows the number of row-oriented table partitions using computing resources in the ratio that falls within a certain interval. | +| `table.datashard.read.rows`
`RATE`, pieces | The number of rows that are read by all partitions of all row-oriented tables in the database in a certain period of time. | +| `table.datashard.read.bytes`
`RATE`, bytes | The size of data that is read by all partitions of all row-oriented tables in the database in a certain period of time. | +| `table.datashard.write.rows`
`RATE`, pieces | The number of rows that are written by all partitions of all row-oriented tables in the database in a certain period of time. | +| `table.datashard.write.bytes`
`RATE`, bytes | The size of data that is written by all partitions of all row-oriented tables in the database in a certain period of time. | +| `table.datashard.scan.rows`
`RATE`, pieces | The number of rows that are read through `StreamExecuteScanQuery` or `StreamReadTable` gRPC API calls by all partitions of all row-oriented tables in the database in a certain period of time. | +| `table.datashard.scan.bytes`
`RATE`, bytes | The size of data that is read through `StreamExecuteScanQuery` or `StreamReadTable` gRPC API calls by all partitions of all row-oriented tables in the database in a certain period of time. | +| `table.datashard.bulk_upsert.rows`
`RATE`, pieces | The number of rows that are added through a `BulkUpsert` gRPC API call to all partitions of all row-oriented tables in the database in a certain period of time. | +| `table.datashard.bulk_upsert.bytes`
`RATE`, bytes | The size of data that is added through a `BulkUpsert` gRPC API call to all partitions of all row-oriented tables in the database in a certain period of time. | +| `table.datashard.erase.rows`
`RATE`, pieces | The number of rows deleted from row-oriented tables in the database in a certain period of time. | +| `table.datashard.erase.bytes`
`RATE`, bytes | The size of data deleted from row-oriented tables in the database in a certain period of time. | +| `table.datashard.cache_hit.bytes`
`RATE`, bytes | The total amount of data successfully retrieved from memory (cache), indicating efficient cache utilization in serving frequently accessed data without accessing distributed storage. | +| `table.datashard.cache_miss.bytes`
`RATE`, bytes | The total amount of data that was requested but not found in memory (cache) and was read from distributed storage, highlighting potential areas for cache optimization. | + +## Column-oriented table partition metrics {#columnshards} + +| Metric name
Type, units of measurement | Description
Labels | +| ----- | ----- | +| `table.columnshard.write.rows`
`RATE`, pieces | The number of rows that are written by all partitions of all column-oriented tables in the database in a certain period of time. | +| `table.columnshard.write.bytes`
`RATE`, bytes | The size of data that is written by all partitions of all column-oriented tables in the database in a certain period of time. | +| `table.columnshard.scan.rows`
`RATE`, pieces | The number of rows that are read through `StreamExecuteScanQuery` or `StreamReadTable` gRPC API calls by all partitions of all column-oriented tables in the database in a certain period of time. | +| `table.columnshard.scan.bytes`
`RATE`, bytes | The size of data that is read through `StreamExecuteScanQuery` or `StreamReadTable` gRPC API calls by all partitions of all column-oriented tables in the database in a certain period of time. | +| `table.columnshard.bulk_upsert.rows`
`RATE`, pieces | The number of rows that are added through a `BulkUpsert` gRPC API call to all partitions of all column-oriented tables in the database in a certain period of time. | +| `table.columnshard.bulk_upsert.bytes`
`RATE`, bytes | The size of data that is added through a `BulkUpsert` gRPC API call to all partitions of all column-oriented tables in the database in a certain period of time. | ## Resource usage metrics (for Dedicated mode only) {#ydb_dedicated_resources} diff --git a/ydb/docs/ru/core/reference/observability/metrics/index.md b/ydb/docs/ru/core/reference/observability/metrics/index.md index 400ead9ef04b..af72c1027e29 100644 --- a/ydb/docs/ru/core/reference/observability/metrics/index.md +++ b/ydb/docs/ru/core/reference/observability/metrics/index.md @@ -110,23 +110,36 @@ `table.query.compilation.cache_misses`
`RATE`, штуки | Количество запросов в определенный период времени, для выполнения которых потребовалось компилировать запрос. `table.query.execution.latency_milliseconds`
`HIST_RATE`, штуки | Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество запросов, время выполнения которых попадает в определенный интервал. -## Метрики партиций таблиц {#datashards} +## Метрики партиций строковых таблиц {#datashards} Имя метрики
Тип, единицы измерения | Описание
Метки ----- | ----- -`table.datashard.row_count`
`GAUGE`, штуки | Количество строк в таблицах базы данных. -`table.datashard.size_bytes`
`GAUGE`, байты | Размер данных в таблицах базы. -`table.datashard.used_core_percents`
`HIST_GAUGE`, % | Гистограммный счетчик. Интервалы заданы в процентах. Показывает количество партиций таблиц, которые используют вычислительные ресурсы в доле, попадающей в определенный интервал. -`table.datashard.read.rows`
`RATE`, штуки | Количество строк, которые прочитаны всеми партициями всех таблиц в базе данных в определенный период времени. -`table.datashard.read.bytes`
`RATE`, байты | Размер данных, которые прочитаны всеми партициями всех таблиц в базе в определенный период времени. -`table.datashard.write.rows`
`RATE`, штуки | Количество строк, которые записаны всеми партициями всех таблиц в базе данных в определенный период времени. -`table.datashard.write.bytes`
`RATE`, байты | Размер данных, которые записаны всеми партициями всех таблиц в базе в определенный период времени. -`table.datashard.scan.rows`
`RATE`, штуки | Количество строк, которые прочитаны через вызовы gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех таблиц в базе данных в определенный период времени. -`table.datashard.scan.bytes`
`RATE`, байты | Размер данных, которые прочитаны через вызов gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех таблиц в базе в определенный период времени. -`table.datashard.bulk_upsert.rows`
`RATE`, штуки | Количество строк, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех таблиц в базе данных в определенный период времени. -`table.datashard.bulk_upsert.bytes`
`RATE`, байты | Размер данных, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех таблиц в базе в определенный период времени. -`table.datashard.erase.rows`
`RATE`, штуки | Количество строк, которые удалены в базе данных в определенный период времени. -`table.datashard.erase.bytes`
`RATE`, байты | Размер данных, которые удалены в базе в определенный период времени. +`table.datashard.row_count`
`GAUGE`, штуки | Количество строк во всех строковых таблицах базы данных. +`table.datashard.size_bytes`
`GAUGE`, байты | Размер данных во всех строковых таблицах базы. +`table.datashard.used_core_percents`
`HIST_GAUGE`, % | Гистограммный счетчик. Интервалы заданы в процентах. Показывает количество партиций строковых таблиц, которые используют вычислительные ресурсы в доле, попадающей в определенный интервал. +`table.datashard.read.rows`
`RATE`, штуки | Количество строк, которые прочитаны всеми партициями всех строковых таблиц в базе данных в определенный период времени. +`table.datashard.read.bytes`
`RATE`, байты | Размер данных, которые прочитаны всеми партициями всех строковых таблиц в базе в определенный период времени. +`table.datashard.write.rows`
`RATE`, штуки | Количество строк, которые записаны всеми партициями всех строковых таблиц в базе данных в определенный период времени. +`table.datashard.write.bytes`
`RATE`, байты | Размер данных, которые записаны всеми партициями всех строковых таблиц в базе в определенный период времени. +`table.datashard.scan.rows`
`RATE`, штуки | Количество строк, которые прочитаны через вызовы gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех строковых таблиц в базе данных в определенный период времени. +`table.datashard.scan.bytes`
`RATE`, байты | Размер данных, которые прочитаны через вызов gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех строковых таблиц в базе в определенный период времени. +`table.datashard.bulk_upsert.rows`
`RATE`, штуки | Количество строк, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех строковых таблиц в базе данных в определенный период времени. +`table.datashard.bulk_upsert.bytes`
`RATE`, байты | Размер данных, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех строковых таблиц в базе в определенный период времени. +`table.datashard.erase.rows`
`RATE`, штуки | Количество строк, которые удалены в базе данных из всех строковых таблиц в определенный период времени. +`table.datashard.erase.bytes`
`RATE`, байты | Размер данных, которые удалены в базе из всех строковых таблиц в определенный период времени. +`table.datashard.cache_hit.bytes`
`RATE`, байты | Общий объем данных строковых таблиц, успешно полученных из памяти (кэша). Больший объем данных, полученных из кэша, свидетельствует об эффективном использовании кэша без доступа к распределенному хранилищу. +`table.datashard.cache_miss.bytes`
`RATE`, байты | Общий объем данных строковых таблиц, которые были запрошены, но не найдены в памяти (кэше), и были прочитаны из распределенного хранилища. Указывает на потенциальные области для оптимизации кэша. + +## Метрики партиций колоночных таблиц {#columnshards} + +Имя метрики
Тип, единицы измерения | Описание
Метки +----- | ----- +`table.columnshard.write.rows`
`RATE`, штуки | Количество строк, которые записаны всеми партициями всех колоночных таблиц в базе данных в определенный период времени. +`table.columnshard.write.bytes`
`RATE`, байты | Размер данных, которые записаны всеми партициями всех колоночных таблиц в базе данных в определенный период времени. +`table.columnshard.scan.rows`
`RATE`, штуки | Количество строк, которые прочитаны через вызовы gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех колоночных таблиц в базе данных в определенный период времени. +`table.columnshard.scan.bytes`
`RATE`, байты | Размер данных, которые прочитаны через вызов gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех колоночных таблиц в базе данных в определенный период времени. +`table.columnshard.bulk_upsert.rows`
`RATE`, штуки | Количество строк, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех колоночных таблиц в базе данных в определенный период времени. +`table.columnshard.bulk_upsert.bytes`
`RATE`, байты | Размер данных, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех колоночных таблиц в базе данных в определенный период времени. ## Метрики использования ресурсов (только для режима Dedicated) {#ydb_dedicated_resources}