clickhouse数据类型

1、数据类型

ClickHouse 可以在数据表中存储多种数据类型。

1、UInt8, UInt16, UInt32, UInt64, Int8, Int16, Int32, Int64

固定长度的整型，包括有符号整型或无符号整型

整型范围

Int8 - [-128 : 127]
Int16 - [-32768 : 32767]
Int32 - [-2147483648 : 2147483647]
Int64 - [-9223372036854775808 : 9223372036854775807]

无符号整型范围

UInt8 - [0 : 255]
UInt16 - [0 : 65535]
UInt32 - [0 : 4294967295]
UInt64 - [0 : 18446744073709551615]

2、Float32, Float64

Float32 - float
Float64 - double

建议尽可能以整数形式存储数据。例如，将固定精度的数字转换为整数值，例如货币数量或页面加载时间用毫秒为单位表示

对浮点数进行计算可能引起四舍五入的误差

cdh1 :) SELECT 1 - 0.9

SELECT 1 - 0.9

┌───────minus(1, 0.9)─┐
│ 0.09999999999999998 │
└─────────────────────┘

3、NaN and Inf

Inf – 正无穷

cdh1 :) SELECT 0.5 / 0

SELECT 0.5 / 0

┌─divide(0.5, 0)─┐
│            inf │
└────────────────┘

1 rows in set. Elapsed: 0.026 sec.

-Inf – 负无穷

cdh1 :) SELECT -0.5 / 0

SELECT -0.5 / 0

┌─divide(-0.5, 0)─┐
│            -inf │
└─────────────────┘

1 rows in set. Elapsed: 0.004 sec.

NaN – 非数字

cdh1 :) SELECT 0 / 0

SELECT 0 / 0

┌─divide(0, 0)─┐
│          nan │
└──────────────┘

1 rows in set. Elapsed: 0.004 sec.

4、Decimal(P, S), Decimal32(S), Decimal64(S), Decimal128(S)

参数
P - 精度。有效范围：[1:38]，决定可以有多少个十进制数字（包括分数）。
S - 规模。有效范围：[0：P]，决定数字的小数部分中包含的小数位数
对于不同的 P 参数值 Decimal 表示，以下例子都是同义的：P在[1:9] 使用Decimal32(S)，P在[10:18]使用Decimal64(S)，P在[19:38]使用Decimal128(S)

十进制值范围
Decimal32(S) - ( -1 * 10^(9 - S), 1 * 10^(9 - S) )
Decimal64(S) - ( -1 * 10^(18 - S), 1 * 10^(18 - S) )
Decimal128(S) - ( -1 * 10^(38 - S), 1 * 10^(38 - S) )
例如，Decimal32(4) 可以表示 -99999.9999 至 99999.9999 的数值，小数点长为0.0001

cdh1 :) SELECT toDecimal32(2, 4) AS x, x / 3

SELECT 
    toDecimal32(2, 4) AS x, 
    x / 3

┌──────x─┬─divide(toDecimal32(2, 4), 3)─┐
│ 2.0000 │                       0.6666 │
└────────┴──────────────────────────────┘

1 rows in set. Elapsed: 0.050 sec.

5、Boolean Values

没有单独的类型来存储布尔值。可以使用 UInt8 类型，取值限制为 0 或 1

6、String

字符串可以任意长度的。它可以包含任意的字节集，包含空字节。因此，字符串类型可以代替其他 DBMSs 中的 VARCHAR、BLOB、CLOB 等类型。

7、FixedString

固定长度 N 的字符串（N 必须是严格的正自然数）
可以使用下面的语法对列声明为FixedString类型：

<column_name> FixedString(N)

其中N表示自然数。
当数据的长度恰好为N个字节时，FixedString类型是高效的。在其他情况下，这可能会降低效率。

当向ClickHouse中插入数据时

如果字符串包含的字节数少于`N’,将对字符串末尾进行空字节填充。
如果字符串包含的字节数大于N,将抛出Too large value for FixedString(N)异常。

请注意，FixedString(N)的长度是个常量。仅由空字符组成的字符串，函数length返回值为N,而函数empty的返回值为1

8、UUID

通用唯一标识符（UUID）是一个16字节的数字，用于标识记录

UUID类型值的示例如下所示：61f0c404-5cb3-11e7-907b-a6006ad3dba0
如果在插入新记录时未指定UUID列值，则UUID值将填充为零：
00000000-0000-0000-0000-000000000000

为了生成UUID值，ClickHouse提供了generateUUIDv4函数。

cdh1 :) SELECT generateUUIDv4();

SELECT generateUUIDv4()

┌─────────────────────generateUUIDv4()─┐
│ 390c0592-fd34-40b0-bbcb-317f22098e1a │
└──────────────────────────────────────┘

1 rows in set. Elapsed: 0.006 sec.

9、Date

日期类型，用两个字节存储，表示从 1970-01-01 (无符号) 到当前的日期值。允许存储从 Unix 纪元开始到编译阶段定义的上限阈值常量（目前上限是2106年，但最终完全支持的年份为2105）。最小值输出为0000-00-00。
日期中没有存储时区信息

10、DateTime64

允许以指定的亚秒精度存储即时时间，该时间可以表示为日历日期和一天中的时间

精度: 10^-precision seconds

表示形式

DateTime64(precision, [timezone])

cdh1 :) SELECT toDateTime64(now(), 3,'Asia/Shanghai') AS column, toTypeName(column) AS x

SELECT 
    toDateTime64(now(), 3, 'Asia/Shanghai') AS column, 
    toTypeName(column) AS x

┌──────────────────column─┬─x──────────────────────────────┐
│ 2020-03-16 23:49:02.000 │ DateTime64(3, 'Asia/Shanghai') │
└─────────────────────────┴────────────────────────────────┘

1 rows in set. Elapsed: 0.006 sec

11、DateTime

时间戳类型。用四个字节（无符号的）存储 Unix 时间戳）。允许存储与日期类型相同的范围内的值。最小值为 0000-00-00 00:00:00。时间戳类型值精确到秒（没有闰秒）

12、Enum8, Enum16

包括 Enum8 和 Enum16 类型。Enum 保存 ‘string’= integer 的对应关系。在 ClickHouse 中，尽管用户使用的是字符串常量，但所有含有 Enum 数据类型的操作都是按照包含整数的值来执行。这在性能方面比使用 String 数据类型更有效。

Enum8 用 ‘String’= Int8 对描述。
Enum16 用 ‘String’= Int16 对描述。

用法示例
创建一个带有一个枚举 Enum8(‘hello’ = 1, ‘world’ = 2) 类型的列：

CREATE TABLE t_enum
(
    x Enum8('hello' = 1, 'world' = 2)
)
ENGINE = TinyLog

这个 x 列只能存储类型定义中列出的值：‘hello’或’world’。如果您尝试保存任何其他值，ClickHouse 抛出异常。

:) INSERT INTO t_enum VALUES ('hello'), ('world'), ('hello')

INSERT INTO t_enum VALUES

Ok.

3 rows in set. Elapsed: 0.002 sec.

:) insert into t_enum values('a')

INSERT INTO t_enum VALUES


Exception on client:
Code: 49. DB::Exception: Unknown element 'a' for type Enum8('hello' = 1, 'world' = 2)

当您从表中查询数据时，ClickHouse 从 Enum 中输出字符串值。

SELECT * FROM t_enum

┌─x─────┐
│ hello │
│ world │
│ hello │
└───────┘

如果需要看到对应行的数值，则必须将 Enum 值转换为整数类型。

SELECT CAST(x, 'Int8') FROM t_enum

┌─CAST(x, 'Int8')─┐
│               1 │
│               2 │
│               1 │
└─────────────────┘

13、Array(T)

由 T 类型元素组成的数组。

T 可以是任意类型，包含数组类型。但不推荐使用多维数组，ClickHouse 对多维数组的支持有限。例如，不能存储在 MergeTree 表中存储多维数组。

创建数组
可以使用array函数来创建数组：
array(T)
也可以使用方括号：
[]
创建数组示例：

:) SELECT array(1, 2) AS x, toTypeName(x)

SELECT
    [1, 2] AS x,
    toTypeName(x)

┌─x─────┬─toTypeName(array(1, 2))─┐
│ [1,2] │ Array(UInt8)            │
└───────┴─────────────────────────┘

1 rows in set. Elapsed: 0.002 sec.

:) SELECT [1, 2] AS x, toTypeName(x)

SELECT
    [1, 2] AS x,
    toTypeName(x)

┌─x─────┬─toTypeName([1, 2])─┐
│ [1,2] │ Array(UInt8)       │
└───────┴────────────────────┘

1 rows in set. Elapsed: 0.002 sec.

14、AggregateFunction(name, types_of_arguments…)

聚合函数的中间状态，可以通过聚合函数名称加-State后缀的形式得到它。与此同时，当需要访问该类型的最终状态数据时，需要以相同的聚合函数名加-Merge后缀的形式来得到最终状态数据。

参数
聚合函数名

如果函数具备多个参数列表，请在此处指定其他参数列表中的值。
聚合函数参数的类型

示例

CREATE TABLE t
(
    column1 AggregateFunction(uniq, UInt64),
    column2 AggregateFunction(anyIf, String, UInt8),
    column3 AggregateFunction(quantiles(0.5, 0.9), UInt64)
) ENGINE = ...

15、Tuple(T1, T2, …)

元组，其中每个元素都有单独的类型。

不能在表中存储元组（除了内存表）。它们可以用于临时列分组。在查询中，IN 表达式和带特定参数的 lambda 函数可以来对临时列进行分组。
元组可以是查询的结果。在这种情况下，对于JSON以外的文本格式，括号中的值是逗号分隔的。在JSON格式中，元组作为数组输出（在方括号中）。

创建元组
可以使用函数来创建元组：tuple(T1, T2, …)
创建元组的示例：

:) SELECT tuple(1,'a') AS x, toTypeName(x)

SELECT
    (1, 'a') AS x,
    toTypeName(x)

┌─x───────┬─toTypeName(tuple(1, 'a'))─┐
│ (1,'a') │ Tuple(UInt8, String)      │
└─────────┴───────────────────────────┘

1 rows in set. Elapsed: 0.021 sec.

16、Nullable(TypeName)

允许用特殊标记 (NULL) 表示"缺失值"，可以与 TypeName 的正常值存放一起。例如，Nullable(Int8) 类型的列可以存储 Int8 类型值，而没有值的行将存储 NULL。

对于TypeName，不能使用复合数据类型 Array 和 Tuple。复合数据类型可以包含 Nullable 类型值，例如Array(Nullable(Int8))。

Nullable 类型字段不能包含在表索引中。
除非在 ClickHouse 服务器配置中另有说明，否则 NULL 是任何 Nullable 类型的默认值。

用法示例

CREATE TABLE t_null(x Int8, y Nullable(Int8)) ENGINE TinyLog
INSERT INTO t_null VALUES (1, NULL), (2, 3)
SELECT x + y FROM t_null
┌─plus(x, y)─┐
│       ᴺᵁᴸᴸ │
│          5 │
└────────────┘

17、Nested(Name1 Type1, Name2 Type2, …)

嵌套数据结构类似于嵌套表。嵌套数据结构的参数（列名和类型）与 CREATE 查询类似。每个表可以包含任意多行嵌套数据结构。

示例:

CREATE TABLE test.visits
(
    CounterID UInt32,
    StartDate Date,
    Sign Int8,
    IsNew UInt8,
    VisitID UInt64,
    UserID UInt64,
    ...
    Goals Nested
    (
        ID UInt32,
        Serial UInt32,
        EventTime DateTime,
        Price Int64,
        OrderID String,
        CurrencyID UInt32
    ),
    ...
) ENGINE = CollapsingMergeTree(StartDate, intHash32(UserID), (CounterID, StartDate, intHash32(UserID), VisitID), 8192, Sign)

使用

SELECT
    Goals.ID,
    Goals.EventTime
FROM test.visits
WHERE CounterID = 101500 AND length(Goals.ID) < 5
LIMIT 10

更多内容关注公众号"数据专场"

clickhouse数据类型

1、UInt8, UInt16, UInt32, UInt64, Int8, Int16, Int32, Int64

2、Float32, Float64

3、NaN and Inf

4、Decimal(P, S), Decimal32(S), Decimal64(S), Decimal128(S)

5、Boolean Values

6、String

7、FixedString

8、UUID

9、Date

10、DateTime64

11、DateTime

12、Enum8, Enum16

13、Array(T)

14、AggregateFunction(name, types_of_arguments…)

15、Tuple(T1, T2, …)

16、Nullable(TypeName)

17、Nested(Name1 Type1, Name2 Type2, …)

lightdb hash index的性能和限制

Hadoop任務操作命令

Hadoop運行過程中錯誤解決

解決clickhouse裸奔問題

理解Linux調優參數

NameNode和DataNode之間的交互

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結