InfluxDB

Теория

Реляционные базы основаны на том что есть таблица, содержащая строки и столбцы. Таблицы обычно предназначены для определенных целей. Они эффективны, масштабируемые и т.д. Но ключевой аспект в том что они имеют индекс, который делает их медленными при росте данных.
При добавлении новых записей, при наличии индексов, СУБД будет многократно переиндексировать данные для быстрого доступа к ним ⇒ производительность со временем снижается.

БД временных рядов работают иначе, Данные так же хранятся в «коллекциях», но эти «коллекции» имеют общий знаменатель - они объединены со временем. Т.е. для каждой точки, которую вы можете сохранить, есть связанная с ней временная метка.

Сделан акцент на быстром приеме данных и скорость не теряется с увеличением размера БД. Используется индексация связанная со временем.

Присутствует встроенная т.н. политика хранения данных, которая позволяет очищать ненужные данные.

notes

Поля представляют собой непосредственно данные таблицы, вокруг которых все происходит, а теги больше носят описательный характер

Теги хранятся только в виде строк, теги проиндексированы поля нет, поэтому для поиска/фильтрации/группировок используются только теги
Учитывая индексацию, слишком уникальные данные не подойдут для тегов, иначе сильно провиснет производительность

Measurement (измерение) контейнер тегов и полей и меткой времени, по сути можно провести параллель с таблицей
«Серии» это вроде как записи

Series (временная шкала данных) - это «линии данных», комбинация измерений и тегов. Важная метрика, считается на всю базу целиком, по умолчанию установлено ограничение в миллион max-series-per-database

Point - данные одной вставки (series + timestamp)
Shard - сегмент данных, относится к физическому хранению в ОС (TSM (Time Sort Merge Tree) Engine), рассчитывается из политики хранения, разбивается например по часу. Отвечает как за хранение данных в ОС так и за операциями над ними
Выше уровнем, разбиваются на группы

Хранение данных (политика хранения, retention policy) задается к базе, есть умолчательная, можно указывать при каждой вставке данных (видимо персонально)

Нагрузка (кардинальность) серий

Серия это комбинация измерений и тегов. Считается на одну базу данных рекомендуется не более 1 миллиона, регулируется переменной «max-series-per-database», как уже было сказано выше
Растет считай экспоненциально, например есть таблица с двумя тегами, в первом три разных значения, во втором два, кол-во комбинаций 3 * 2 = 6

Важный момент, кол-во не просто перемножается а используется фактическое применение, например есть понятие «зависимые теги», область действия которых ограничена другим (т.е. является алиасом) и по факту ко-во комбинаций не увеличилось

  # Кардинальность текущей БД
SHOW SERIES CARDINALITY [ON dbname]
  # В разрезе по таблицам
SHOW SERIES EXACT CARDINALITY [ON dbname]
 
  # Еще можно проверить кардинальность ключей, но вроде тоже самое (или около того)
SHOW TAG KEY CARDINALITY
SHOW TAG VALUES CARDINALITY WITH KEY = "tag1"
SHOW FIELD KEY CARDINALITY [ON dbname]
 
  # Непонятно что показывает, не общую кардинальность таблиц не одной таблицы не кол-во таблиц, хз
  # хотя есть какая то корреляция с кол-вом таблиц
SHOW MEASUREMENT CARDINALITY [ON dbname]

Установка

Подготовка сервера
Для БД временных рядов важна синхронизация времени, настраиваем временную зону и ставим службу синхронизации времени
*В каталоге /usr/share/zoneinfo список всех возможных вариантов временных зон

\cp /usr/share/zoneinfo/Europe/Moscow /etc/localtime
apt install chrony && sudo systemctl enable chrony

   # Добавляем репозиторий
cat <<EOF | sudo tee /etc/yum.repos.d/influxdata.repo
[influxdata]
name = InfluxData Repository - Stable
baseurl = https://repos.influxdata.com/stable/\$basearch/main
enabled = 1
gpgcheck = 1
gpgkey = https://repos.influxdata.com/influxdata-archive_compat.key
EOF
 
dnf update
dnf install influxdb
systemctl start/enable
open firewall

По умолчанию вход открытый, включить надо в конфиге, в блоке «http», параметр - auth-enabled = true # Set to true, но перед этим создайте учетку

influx
> CREATE USER admin WITH PASSWORD '<password>' WITH ALL PRIVILEGES
> SHOW USERS
 
> GRANT [READ,WRITE,ALL] ON "<database_name>" TO "<username>"
> REVOKE [READ,WRITE,ALL] ON "<database_name>" FROM "<username>"
> GRANT ALL PRIVILEGES TO "<username>"
> REVOKE ALL PRIVILEGES FROM "<username>"
> SHOW GRANTS FOR "<user_name>"
> SET PASSWORD FOR "<username>" = '<password>'
> DROP USER "<username>"
> 
> CREATE DATABASE
> DROP DATABASE
> DROP SERIES
> DROP MEASUREMENT
> CREATE RETENTION POLICY
> ALTER RETENTION POLICY
> DROP RETENTION POLICY
> CREATE CONTINUOUS QUERY
> DROP CONTINUOUS QUERY

Политика хранения

show retention policies;
 
  # Создание политики хранения
CREATE RETENTION POLICY ON <retention_policy_name> ON <database_name> DURATION <duration> REPLICATION <n> [SHARD DURATION <duration> ] [DEFAULT]
CREATE RETENTION POLICY "one_day_only" ON "water_database" DURATION 1d REPLICATION 1 SHARD DURATION 1h DEFAULT 
 
  # Чистка старых данных может длится несколько часов
ALTER RETENTION POLICY "autogen" ON <dbname> DURATION 75d;

Примеры

CREATE CONTINUOUS QUERY <Имя объекта> ON mgaimport
BEGIN
    SELECT SUM(counter) AS CountExceptRecords INTO <Имя БД>.autogen.<Имя новой таблицы> FROM mgaimport.autogen.<Существующая БД> WHERE resolution = 'exception' GROUP BY TIME(1m), db_name, log_type
END
 
CREATE CONTINUOUS QUERY BalancerRequestAccount_agr ON metrics
BEGIN
    SELECT COUNT("value") AS CountRequests INTO metrics."15_day".BalancerRequestAccount_agr2 FROM metrics.autogen.BalancerRequestAccount GROUP BY TIME(5m)
END

CREATE CONTINUOUS QUERY <Имя объекта> ON mgaimport
BEGIN
    SELECT SUM(counter) AS CountExceptRecords INTO <Имя БД>.autogen.<Имя новой таблицы> FROM mgaimport.autogen.<Существующая БД> WHERE resolution = 'exception' GROUP BY TIME(1m), db_name, log_type
END
 
/*Еще пример агрегации*/
CREATE CONTINUOUS QUERY BalancerRequestAccount_agr ON metrics
BEGIN
SELECT SUM("counter")
    INTO myDB.autogen.myTable_test_1m
FROM "myTable"
WHERE  TIME > now() - 5m 
   AND "errorType" =~ /^(1008|1042)$/
GROUP BY TIME(1m), field1, field2
END