InfluxDB的RP与CQ

Retention Policy

RP表示数据保留策略，策略包含数据保留时长，备份个数等信息。InfluxDB为每个database默认创建了一个默认的RP，名称为autogen，默认数据保留时间为永久。

查看RP

show retention policies

新建RP

CREATE RETENTION POLICY <retention_policy_name> ON <database_name> DURATION <duration> REPLICATION <n> [SHARD DURATION <duration>] [DEFAULT]

name	example
duration	表示数据保留时间，最长为INF，最短为1h
replication	备份数，在集群模式中可用
shard duration	一个分片包含的时间，InfluxDB会根据duration设置默认的shard duration
default	表示该RP为默认的RP

新建一个RP，保留时间为1d

CREATE RETENTION POLICY "one_day_only" ON "NOAA_water_database" DURATION 1d REPLICATION 1    

修改RP

ALTER RETENTION POLICY <retention_policy_name> ON <database_name> DURATION <duration> REPLICATION <n> SHARD DURATION <duration> DEFAULT

删除RP

DROP RETENTION POLICY <retention_policy_name> ON <database_name>

RP使用

在查询或者插入数据时，需要指定RP，若不指定，则认为选择了默认的RP

select sum(value) from "rp_1h".test_me where time > now() - 6h;

假设默认RP为autogen，则

select sum(value) from test_me where time > now() - 6h;

=== 两条语句等价

select sum(value) from "autogen".test_me where time > now() - 6h;

Continue Query

InfluxDB提供了自动聚合数据，并将聚合数据存储至measurement的方法，即continue query

基础用法

CREATE CONTINUOUS QUERY <cq_name> ON <database_name>
BEGIN
  <cq_query>
END            

其中cq_query表示聚合语句，

SELECT <function[s]> INTO <destination_measurement> FROM <measurement> [WHERE <stuff>] GROUP BY time(<interval>)[,<tag_key[s]>]

cq_query的where条件中不需要设置时间区间，inflxuDB会自动生成时间区间

influxDB根据cq_query中的Group By time(interval)的interval，每隔interval执行一次cq_query，而查询的时间区间也为interval。例如当前时间为17：00，interval为1h，则cq_query会查询16:00至16：59分的数据。

生成一条CQ如下，则每隔1h执行一次query

CREATE CONTINUOUS QUERY "cq_basic" ON "transportation"
BEGIN
  SELECT mean("passengers") INTO "average_passengers" FROM "bus_data" GROUP BY time(1h)
END

在8：00，时间区间为[7:00,8:00)

在9：00，时间区间为[8:00,9:00)

根据CQ的特性，可以进行数据降准，例如将维度为1m的数据聚合为5m,measurement_1m存储维度为1m的数据，cq每隔5m对数据进行聚合，并将聚合的数据存储到rp_5m.measurement_5m中，此时维度变成了5m

CREATE CONTINUOUS QUERY "cq_basic_5m" ON "test_database"
BEGIN
  SELECT mean(*) INTO "rp_5m"."measurement_5m" 
  FROM "rp_1m"."measurement_1m"
  GROUP BY time(5m),*
END    

时间偏移

CREATE CONTINUOUS QUERY "cq_basic_offset" ON "transportation"
BEGIN
  SELECT mean("passengers") INTO "average_passengers" FROM "bus_data" GROUP BY time(1h,15m)
END

group by time(1h) 与 group by time(1h,15m)的区别

group by time(1h)的执行时间点和时间区间

time	range
8:00	[7:00,8:00)
9:00	[8:00,9:00)

group by time(1h, 15m)的执行时间点和时间区间

time	range
8:15	[7:15,8:15)
9:15	[8:15,9:15)

高级用法

CREATE CONTINUOUS QUERY <cq_name> ON <database_name>
RESAMPLE EVERY <interval> FOR <interval>
BEGIN
  <cq_query>
END    

其中EVERY表示执行间隔，即每隔多久执行一次，FOR表示时间区间，即每次执行查询多久的数据，区间为[now - for_interval, now)

EVERY=30m,GROUP BY time(1h)

CREATE CONTINUOUS QUERY "cq_advanced_every" ON "transportation"
RESAMPLE EVERY 30m
BEGIN
  SELECT mean("passengers") INTO "average_passengers" FROM "bus_data" GROUP BY time(1h)
END

time	range	返回time
8:00	[7:00,8:00)	7:00
8:30	[7:00,8:00)	7:00
9:00	[8:00,9:00)	8:00

可以看到区间[7:00,8:00)的数据被查询了两次，后一次的数据会覆盖前一次的查询

FOR=1h,GROUP BY time(30m)

CREATE CONTINUOUS QUERY "cq_advanced_for" ON "transportation"
RESAMPLE FOR 1h
BEGIN
  SELECT mean("passengers") INTO "average_passengers" FROM "bus_data" GROUP BY time(30m)
END

time	range	返回time
8:00	[7:00,8:00)	7:00 7:30
8:30	[7:30,8:30)	7:30 8:00
9:00	[8:00,9:00)	8:00 8:30

每次查询都会返回两条数据，每个时间点的数据都被计算了两次，这样在一定程度可以避免数据延迟而导致CQ数据丢失的情况。

EVERY=1h，FOR=90m，GROUP BY time(30m)

CREATE CONTINUOUS QUERY "cq_advanced_every_for" ON "transportation"
RESAMPLE EVERY 1h FOR 90m
BEGIN
  SELECT mean("passengers") INTO "average_passengers" FROM "bus_data" GROUP BY time(30m)
END

time	range	返回time
8:00	[6:30,8:00)	6:30 7:00 7:30
9:00	[7:30,9:00)	7:30 8:00 8:30

FOR interval必须大于GROUP by time(interval)以及EVERY interval，否则InfluxDB会返回如下错误，因为这样会造成数据丢失

error parsing query: FOR duration must be >= GROUP BY time duration: must be a minimum of <minimum-allowable-interval> got <user-specified-interval>

CQ管理

查看CQ

SHOW CONTINUOUS QUERIES

删除CQ

DROP CONTINUOUS QUERY <cq_name> ON <database_name>

修改CQ

CQ不能被修改，如果需要需改，只能先删除CQ，在重新创建CQ

使用CQ与RP的目的

1. 利用CQ可以达到数据降准的目的，即将细粒度的数据转换为粗粒度的数据，例如1m维度的数据可以聚合为5m数据
2. 不同粒度的数据可以设置不同的RP，节省存储空间。例如1m维度的数据可以保存7d，而5m维度的数据则可以保存30d，细粒度的数据主要用于及时排查问题，粗粒度的数据在于查看变化趋势。