Skip to content

Added information about metrics for columnshards (#21479) #24800

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
wants to merge 1 commit into
base: stable-25-2
Choose a base branch
from
+54 −28
Open

Added information about metrics for columnshards (#21479) #24800

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
41 changes: 27 additions & 14 deletions ydb/docs/en/core/reference/observability/metrics/index.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -54,23 +54,36 @@ You can analyze a transaction's execution time using a histogram counter. The in
| `table.query.compilation.cache_misses`<br/>`RATE`, pieces | The number of queries in a certain period of time that required query compilation. |
| `table.query.execution.latency_milliseconds`<br/>`HIST_RATE`, pieces | Histogram counter. The intervals are set in milliseconds. Shows the number of queries whose execution time falls within a certain interval. |

## Table partition metrics {#datashards}
## Row-oriented table partition metrics {#datashards}

| Metric name<br/>Type, units of measurement | Description<br/>Labels |
| ----- | ----- |
| `table.datashard.row_count`<br/>`GAUGE`, pieces | The number of rows in DB tables. |
| `table.datashard.size_bytes`<br/>`GAUGE`, bytes | The size of data in DB tables. |
| `table.datashard.used_core_percents`<br/>`HIST_GAUGE`, % | Histogram counter. The intervals are set as a percentage. Shows the number of table partitions using computing resources in the ratio that falls within a certain interval. |
| `table.datashard.read.rows`<br/>`RATE`, pieces | The number of rows that are read by all partitions of all DB tables in a certain period of time. |
| `table.datashard.read.bytes`<br/>`RATE`, bytes | The size of data that is read by all partitions of all DB tables in a certain period of time. |
| `table.datashard.write.rows`<br/>`RATE`, pieces | The number of rows that are written by all partitions of all DB tables in a certain period of time. |
| `table.datashard.write.bytes`<br/>`RATE`, bytes | The size of data that is written by all partitions of all DB tables in a certain period of time. |
| `table.datashard.scan.rows`<br/>`RATE`, pieces | The number of rows that are read through `StreamExecuteScanQuery` or `StreamReadTable` gRPC API calls by all partitions of all DB tables in a certain period of time. |
| `table.datashard.scan.bytes`<br/>`RATE`, bytes | The size of data that is read through `StreamExecuteScanQuery` or `StreamReadTable` gRPC API calls by all partitions of all DB tables in a certain period of time. |
| `table.datashard.bulk_upsert.rows`<br/>`RATE`, pieces | The number of rows that are added through a `BulkUpsert` gRPC API call to all partitions of all DB tables in a certain period of time. |
| `table.datashard.bulk_upsert.bytes`<br/>`RATE`, bytes | The size of data that is added through a `BulkUpsert` gRPC API call to all partitions of all DB tables in a certain period of time. |
| `table.datashard.erase.rows`<br/>`RATE`, pieces | The number of rows deleted from the database in a certain period of time. |
| `table.datashard.erase.bytes`<br/>`RATE`, bytes | The size of data deleted from the database in a certain period of time. |
| `table.datashard.row_count`<br/>`GAUGE`, pieces | The number of rows in all row-oriented tables in the database. |
| `table.datashard.size_bytes`<br/>`GAUGE`, bytes | The size of data in all row-oriented tables in the database. |
| `table.datashard.used_core_percents`<br/>`HIST_GAUGE`, % | Histogram counter. The intervals are set as a percentage. Shows the number of row-oriented table partitions using computing resources in the ratio that falls within a certain interval. |
| `table.datashard.read.rows`<br/>`RATE`, pieces | The number of rows that are read by all partitions of all row-oriented tables in the database in a certain period of time. |
| `table.datashard.read.bytes`<br/>`RATE`, bytes | The size of data that is read by all partitions of all row-oriented tables in the database in a certain period of time. |
| `table.datashard.write.rows`<br/>`RATE`, pieces | The number of rows that are written by all partitions of all row-oriented tables in the database in a certain period of time. |
| `table.datashard.write.bytes`<br/>`RATE`, bytes | The size of data that is written by all partitions of all row-oriented tables in the database in a certain period of time. |
| `table.datashard.scan.rows`<br/>`RATE`, pieces | The number of rows that are read through `StreamExecuteScanQuery` or `StreamReadTable` gRPC API calls by all partitions of all row-oriented tables in the database in a certain period of time. |
| `table.datashard.scan.bytes`<br/>`RATE`, bytes | The size of data that is read through `StreamExecuteScanQuery` or `StreamReadTable` gRPC API calls by all partitions of all row-oriented tables in the database in a certain period of time. |
| `table.datashard.bulk_upsert.rows`<br/>`RATE`, pieces | The number of rows that are added through a `BulkUpsert` gRPC API call to all partitions of all row-oriented tables in the database in a certain period of time. |
| `table.datashard.bulk_upsert.bytes`<br/>`RATE`, bytes | The size of data that is added through a `BulkUpsert` gRPC API call to all partitions of all row-oriented tables in the database in a certain period of time. |
| `table.datashard.erase.rows`<br/>`RATE`, pieces | The number of rows deleted from row-oriented tables in the database in a certain period of time. |
| `table.datashard.erase.bytes`<br/>`RATE`, bytes | The size of data deleted from row-oriented tables in the database in a certain period of time. |
| `table.datashard.cache_hit.bytes`<br/>`RATE`, bytes | The total amount of data successfully retrieved from memory (cache), indicating efficient cache utilization in serving frequently accessed data without accessing distributed storage. |
| `table.datashard.cache_miss.bytes`<br/>`RATE`, bytes | The total amount of data that was requested but not found in memory (cache) and was read from distributed storage, highlighting potential areas for cache optimization. |
Comment on lines +74 to +75
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Тут забыл уточнить про "row-oriented".


## Column-oriented table partition metrics {#columnshards}

| Metric name<br/>Type, units of measurement | Description<br/>Labels |
| ----- | ----- |
| `table.columnshard.write.rows`<br/>`RATE`, pieces | The number of rows that are written by all partitions of all column-oriented tables in the database in a certain period of time. |
| `table.columnshard.write.bytes`<br/>`RATE`, bytes | The size of data that is written by all partitions of all column-oriented tables in the database in a certain period of time. |
| `table.columnshard.scan.rows`<br/>`RATE`, pieces | The number of rows that are read through `StreamExecuteScanQuery` or `StreamReadTable` gRPC API calls by all partitions of all column-oriented tables in the database in a certain period of time. |
| `table.columnshard.scan.bytes`<br/>`RATE`, bytes | The size of data that is read through `StreamExecuteScanQuery` or `StreamReadTable` gRPC API calls by all partitions of all column-oriented tables in the database in a certain period of time. |
| `table.columnshard.bulk_upsert.rows`<br/>`RATE`, pieces | The number of rows that are added through a `BulkUpsert` gRPC API call to all partitions of all column-oriented tables in the database in a certain period of time. |
| `table.columnshard.bulk_upsert.bytes`<br/>`RATE`, bytes | The size of data that is added through a `BulkUpsert` gRPC API call to all partitions of all column-oriented tables in the database in a certain period of time. |

## Resource usage metrics (for Dedicated mode only) {#ydb_dedicated_resources}

Expand Down
41 changes: 27 additions & 14 deletions ydb/docs/ru/core/reference/observability/metrics/index.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -110,23 +110,36 @@
`table.query.compilation.cache_misses`<br/>`RATE`, штуки | Количество запросов в определенный период времени, для выполнения которых потребовалось компилировать запрос.
`table.query.execution.latency_milliseconds`<br/>`HIST_RATE`, штуки | Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество запросов, время выполнения которых попадает в определенный интервал.

## Метрики партиций таблиц {#datashards}
## Метрики партиций строковых таблиц {#datashards}

Имя метрики<br/>Тип, единицы измерения | Описание<br/>Метки
----- | -----
`table.datashard.row_count`<br/>`GAUGE`, штуки | Количество строк в таблицах базы данных.
`table.datashard.size_bytes`<br/>`GAUGE`, байты | Размер данных в таблицах базы.
`table.datashard.used_core_percents`<br/>`HIST_GAUGE`, % | Гистограммный счетчик. Интервалы заданы в процентах. Показывает количество партиций таблиц, которые используют вычислительные ресурсы в доле, попадающей в определенный интервал.
`table.datashard.read.rows`<br/>`RATE`, штуки | Количество строк, которые прочитаны всеми партициями всех таблиц в базе данных в определенный период времени.
`table.datashard.read.bytes`<br/>`RATE`, байты | Размер данных, которые прочитаны всеми партициями всех таблиц в базе в определенный период времени.
`table.datashard.write.rows`<br/>`RATE`, штуки | Количество строк, которые записаны всеми партициями всех таблиц в базе данных в определенный период времени.
`table.datashard.write.bytes`<br/>`RATE`, байты | Размер данных, которые записаны всеми партициями всех таблиц в базе в определенный период времени.
`table.datashard.scan.rows`<br/>`RATE`, штуки | Количество строк, которые прочитаны через вызовы gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех таблиц в базе данных в определенный период времени.
`table.datashard.scan.bytes`<br/>`RATE`, байты | Размер данных, которые прочитаны через вызов gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех таблиц в базе в определенный период времени.
`table.datashard.bulk_upsert.rows`<br/>`RATE`, штуки | Количество строк, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех таблиц в базе данных в определенный период времени.
`table.datashard.bulk_upsert.bytes`<br/>`RATE`, байты | Размер данных, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех таблиц в базе в определенный период времени.
`table.datashard.erase.rows`<br/>`RATE`, штуки | Количество строк, которые удалены в базе данных в определенный период времени.
`table.datashard.erase.bytes`<br/>`RATE`, байты | Размер данных, которые удалены в базе в определенный период времени.
`table.datashard.row_count`<br/>`GAUGE`, штуки | Количество строк во всех строковых таблицах базы данных.
`table.datashard.size_bytes`<br/>`GAUGE`, байты | Размер данных во всех строковых таблицах базы.
`table.datashard.used_core_percents`<br/>`HIST_GAUGE`, % | Гистограммный счетчик. Интервалы заданы в процентах. Показывает количество партиций строковых таблиц, которые используют вычислительные ресурсы в доле, попадающей в определенный интервал.
`table.datashard.read.rows`<br/>`RATE`, штуки | Количество строк, которые прочитаны всеми партициями всех строковых таблиц в базе данных в определенный период времени.
`table.datashard.read.bytes`<br/>`RATE`, байты | Размер данных, которые прочитаны всеми партициями всех строковых таблиц в базе в определенный период времени.
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Suggested change
`table.datashard.read.bytes`<br/>`RATE`, байты | Размер данных, которые прочитаны всеми партициями всех строковых таблиц в базе в определенный период времени.
`table.datashard.read.bytes`<br/>`RATE`, байты | Размер данных, которые прочитаны всеми партициями всех строковых таблиц в базе данных в определенный период времени.

Я понимаю, что ты просто добавил везде "строковые", но раз уж всё равно потрогал эти строки, то можно сделать единообразно. Или вообще везде удалить "база данных" (добавляя или не добавляя уточнение перед/после).

Далее по тексту то же самое.

`table.datashard.write.rows`<br/>`RATE`, штуки | Количество строк, которые записаны всеми партициями всех строковых таблиц в базе данных в определенный период времени.
`table.datashard.write.bytes`<br/>`RATE`, байты | Размер данных, которые записаны всеми партициями всех строковых таблиц в базе в определенный период времени.
`table.datashard.scan.rows`<br/>`RATE`, штуки | Количество строк, которые прочитаны через вызовы gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех строковых таблиц в базе данных в определенный период времени.
`table.datashard.scan.bytes`<br/>`RATE`, байты | Размер данных, которые прочитаны через вызов gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех строковых таблиц в базе в определенный период времени.
`table.datashard.bulk_upsert.rows`<br/>`RATE`, штуки | Количество строк, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех строковых таблиц в базе данных в определенный период времени.
`table.datashard.bulk_upsert.bytes`<br/>`RATE`, байты | Размер данных, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех строковых таблиц в базе в определенный период времени.
`table.datashard.erase.rows`<br/>`RATE`, штуки | Количество строк, которые удалены в базе данных из всех строковых таблиц в определенный период времени.
`table.datashard.erase.bytes`<br/>`RATE`, байты | Размер данных, которые удалены в базе из всех строковых таблиц в определенный период времени.
`table.datashard.cache_hit.bytes`<br/>`RATE`, байты | Общий объем данных строковых таблиц, успешно полученных из памяти (кэша). Больший объем данных, полученных из кэша, свидетельствует об эффективном использовании кэша без доступа к распределенному хранилищу.
`table.datashard.cache_miss.bytes`<br/>`RATE`, байты | Общий объем данных строковых таблиц, которые были запрошены, но не найдены в памяти (кэше), и были прочитаны из распределенного хранилища. Указывает на потенциальные области для оптимизации кэша.

## Метрики партиций колоночных таблиц {#columnshards}

Имя метрики<br/>Тип, единицы измерения | Описание<br/>Метки
----- | -----
`table.columnshard.write.rows`<br/>`RATE`, штуки | Количество строк, которые записаны всеми партициями всех колоночных таблиц в базе данных в определенный период времени.
`table.columnshard.write.bytes`<br/>`RATE`, байты | Размер данных, которые записаны всеми партициями всех колоночных таблиц в базе данных в определенный период времени.
`table.columnshard.scan.rows`<br/>`RATE`, штуки | Количество строк, которые прочитаны через вызовы gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех колоночных таблиц в базе данных в определенный период времени.
`table.columnshard.scan.bytes`<br/>`RATE`, байты | Размер данных, которые прочитаны через вызов gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех колоночных таблиц в базе данных в определенный период времени.
`table.columnshard.bulk_upsert.rows`<br/>`RATE`, штуки | Количество строк, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех колоночных таблиц в базе данных в определенный период времени.
`table.columnshard.bulk_upsert.bytes`<br/>`RATE`, байты | Размер данных, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех колоночных таблиц в базе данных в определенный период времени.

## Метрики использования ресурсов (только для режима Dedicated) {#ydb_dedicated_resources}

Expand Down