clickhouse數據類型

1、數據類型

ClickHouse 可以在數據表中存儲多種數據類型。

1、UInt8, UInt16, UInt32, UInt64, Int8, Int16, Int32, Int64

固定長度的整型，包括有符號整型或無符號整型

整型範圍

Int8 - [-128 : 127]
Int16 - [-32768 : 32767]
Int32 - [-2147483648 : 2147483647]
Int64 - [-9223372036854775808 : 9223372036854775807]

無符號整型範圍

UInt8 - [0 : 255]
UInt16 - [0 : 65535]
UInt32 - [0 : 4294967295]
UInt64 - [0 : 18446744073709551615]

2、Float32, Float64

Float32 - float
Float64 - double

建議儘可能以整數形式存儲數據。例如，將固定精度的數字轉換爲整數值，例如貨幣數量或頁面加載時間用毫秒爲單位表示

對浮點數進行計算可能引起四捨五入的誤差

cdh1 :) SELECT 1 - 0.9

SELECT 1 - 0.9

┌───────minus(1, 0.9)─┐
│ 0.09999999999999998 │
└─────────────────────┘

3、NaN and Inf

Inf – 正無窮

cdh1 :) SELECT 0.5 / 0

SELECT 0.5 / 0

┌─divide(0.5, 0)─┐
│            inf │
└────────────────┘

1 rows in set. Elapsed: 0.026 sec.

-Inf – 負無窮

cdh1 :) SELECT -0.5 / 0

SELECT -0.5 / 0

┌─divide(-0.5, 0)─┐
│            -inf │
└─────────────────┘

1 rows in set. Elapsed: 0.004 sec.

NaN – 非數字

cdh1 :) SELECT 0 / 0

SELECT 0 / 0

┌─divide(0, 0)─┐
│          nan │
└──────────────┘

1 rows in set. Elapsed: 0.004 sec.

4、Decimal(P, S), Decimal32(S), Decimal64(S), Decimal128(S)

參數
P - 精度。有效範圍：[1:38]，決定可以有多少個十進制數字（包括分數）。
S - 規模。有效範圍：[0：P]，決定數字的小數部分中包含的小數位數
對於不同的 P 參數值 Decimal 表示，以下例子都是同義的：P在[1:9] 使用Decimal32(S)，P在[10:18]使用Decimal64(S)，P在[19:38]使用Decimal128(S)

十進制值範圍
Decimal32(S) - ( -1 * 10^(9 - S), 1 * 10^(9 - S) )
Decimal64(S) - ( -1 * 10^(18 - S), 1 * 10^(18 - S) )
Decimal128(S) - ( -1 * 10^(38 - S), 1 * 10^(38 - S) )
例如，Decimal32(4) 可以表示 -99999.9999 至 99999.9999 的數值，小數點長爲0.0001

cdh1 :) SELECT toDecimal32(2, 4) AS x, x / 3

SELECT 
    toDecimal32(2, 4) AS x, 
    x / 3

┌──────x─┬─divide(toDecimal32(2, 4), 3)─┐
│ 2.0000 │                       0.6666 │
└────────┴──────────────────────────────┘

1 rows in set. Elapsed: 0.050 sec.

5、Boolean Values

沒有單獨的類型來存儲布爾值。可以使用 UInt8 類型，取值限制爲 0 或 1

6、String

字符串可以任意長度的。它可以包含任意的字節集，包含空字節。因此，字符串類型可以代替其他 DBMSs 中的 VARCHAR、BLOB、CLOB 等類型。

7、FixedString

固定長度 N 的字符串（N 必須是嚴格的正自然數）
可以使用下面的語法對列聲明爲FixedString類型：

<column_name> FixedString(N)

其中N表示自然數。
當數據的長度恰好爲N個字節時，FixedString類型是高效的。在其他情況下，這可能會降低效率。

當向ClickHouse中插入數據時

如果字符串包含的字節數少於`N’,將對字符串末尾進行空字節填充。
如果字符串包含的字節數大於N,將拋出Too large value for FixedString(N)異常。

請注意，FixedString(N)的長度是個常量。僅由空字符組成的字符串，函數length返回值爲N,而函數empty的返回值爲1

8、UUID

通用唯一標識符（UUID）是一個16字節的數字，用於標識記錄

UUID類型值的示例如下所示：61f0c404-5cb3-11e7-907b-a6006ad3dba0
如果在插入新記錄時未指定UUID列值，則UUID值將填充爲零：
00000000-0000-0000-0000-000000000000

爲了生成UUID值，ClickHouse提供了generateUUIDv4函數。

cdh1 :) SELECT generateUUIDv4();

SELECT generateUUIDv4()

┌─────────────────────generateUUIDv4()─┐
│ 390c0592-fd34-40b0-bbcb-317f22098e1a │
└──────────────────────────────────────┘

1 rows in set. Elapsed: 0.006 sec.

9、Date

日期類型，用兩個字節存儲，表示從 1970-01-01 (無符號) 到當前的日期值。允許存儲從 Unix 紀元開始到編譯階段定義的上限閾值常量（目前上限是2106年，但最終完全支持的年份爲2105）。最小值輸出爲0000-00-00。
日期中沒有存儲時區信息

10、DateTime64

允許以指定的亞秒精度存儲即時時間，該時間可以表示爲日曆日期和一天中的時間

精度: 10^-precision seconds

表示形式

DateTime64(precision, [timezone])

cdh1 :) SELECT toDateTime64(now(), 3,'Asia/Shanghai') AS column, toTypeName(column) AS x

SELECT 
    toDateTime64(now(), 3, 'Asia/Shanghai') AS column, 
    toTypeName(column) AS x

┌──────────────────column─┬─x──────────────────────────────┐
│ 2020-03-16 23:49:02.000 │ DateTime64(3, 'Asia/Shanghai') │
└─────────────────────────┴────────────────────────────────┘

1 rows in set. Elapsed: 0.006 sec

11、DateTime

時間戳類型。用四個字節（無符號的）存儲 Unix 時間戳）。允許存儲與日期類型相同的範圍內的值。最小值爲 0000-00-00 00:00:00。時間戳類型值精確到秒（沒有閏秒）

12、Enum8, Enum16

包括 Enum8 和 Enum16 類型。Enum 保存 ‘string’= integer 的對應關係。在 ClickHouse 中，儘管用戶使用的是字符串常量，但所有含有 Enum 數據類型的操作都是按照包含整數的值來執行。這在性能方面比使用 String 數據類型更有效。

Enum8 用 ‘String’= Int8 對描述。
Enum16 用 ‘String’= Int16 對描述。

用法示例
創建一個帶有一個枚舉 Enum8(‘hello’ = 1, ‘world’ = 2) 類型的列：

CREATE TABLE t_enum
(
    x Enum8('hello' = 1, 'world' = 2)
)
ENGINE = TinyLog

這個 x 列只能存儲類型定義中列出的值：‘hello’或’world’。如果您嘗試保存任何其他值，ClickHouse 拋出異常。

:) INSERT INTO t_enum VALUES ('hello'), ('world'), ('hello')

INSERT INTO t_enum VALUES

Ok.

3 rows in set. Elapsed: 0.002 sec.

:) insert into t_enum values('a')

INSERT INTO t_enum VALUES


Exception on client:
Code: 49. DB::Exception: Unknown element 'a' for type Enum8('hello' = 1, 'world' = 2)

當您從表中查詢數據時，ClickHouse 從 Enum 中輸出字符串值。

SELECT * FROM t_enum

┌─x─────┐
│ hello │
│ world │
│ hello │
└───────┘

如果需要看到對應行的數值，則必須將 Enum 值轉換爲整數類型。

SELECT CAST(x, 'Int8') FROM t_enum

┌─CAST(x, 'Int8')─┐
│               1 │
│               2 │
│               1 │
└─────────────────┘

13、Array(T)

由 T 類型元素組成的數組。

T 可以是任意類型，包含數組類型。但不推薦使用多維數組，ClickHouse 對多維數組的支持有限。例如，不能存儲在 MergeTree 表中存儲多維數組。

創建數組
可以使用array函數來創建數組：
array(T)
也可以使用方括號：
[]
創建數組示例：

:) SELECT array(1, 2) AS x, toTypeName(x)

SELECT
    [1, 2] AS x,
    toTypeName(x)

┌─x─────┬─toTypeName(array(1, 2))─┐
│ [1,2] │ Array(UInt8)            │
└───────┴─────────────────────────┘

1 rows in set. Elapsed: 0.002 sec.

:) SELECT [1, 2] AS x, toTypeName(x)

SELECT
    [1, 2] AS x,
    toTypeName(x)

┌─x─────┬─toTypeName([1, 2])─┐
│ [1,2] │ Array(UInt8)       │
└───────┴────────────────────┘

1 rows in set. Elapsed: 0.002 sec.

14、AggregateFunction(name, types_of_arguments…)

聚合函數的中間狀態，可以通過聚合函數名稱加-State後綴的形式得到它。與此同時，當需要訪問該類型的最終狀態數據時，需要以相同的聚合函數名加-Merge後綴的形式來得到最終狀態數據。

參數
聚合函數名

如果函數具備多個參數列表，請在此處指定其他參數列表中的值。
聚合函數參數的類型

示例

CREATE TABLE t
(
    column1 AggregateFunction(uniq, UInt64),
    column2 AggregateFunction(anyIf, String, UInt8),
    column3 AggregateFunction(quantiles(0.5, 0.9), UInt64)
) ENGINE = ...

15、Tuple(T1, T2, …)

元組，其中每個元素都有單獨的類型。

不能在表中存儲元組（除了內存表）。它們可以用於臨時列分組。在查詢中，IN 表達式和帶特定參數的 lambda 函數可以來對臨時列進行分組。
元組可以是查詢的結果。在這種情況下，對於JSON以外的文本格式，括號中的值是逗號分隔的。在JSON格式中，元組作爲數組輸出（在方括號中）。

創建元組
可以使用函數來創建元組：tuple(T1, T2, …)
創建元組的示例：

:) SELECT tuple(1,'a') AS x, toTypeName(x)

SELECT
    (1, 'a') AS x,
    toTypeName(x)

┌─x───────┬─toTypeName(tuple(1, 'a'))─┐
│ (1,'a') │ Tuple(UInt8, String)      │
└─────────┴───────────────────────────┘

1 rows in set. Elapsed: 0.021 sec.

16、Nullable(TypeName)

允許用特殊標記 (NULL) 表示"缺失值"，可以與 TypeName 的正常值存放一起。例如，Nullable(Int8) 類型的列可以存儲 Int8 類型值，而沒有值的行將存儲 NULL。

對於TypeName，不能使用複合數據類型 Array 和 Tuple。複合數據類型可以包含 Nullable 類型值，例如Array(Nullable(Int8))。

Nullable 類型字段不能包含在表索引中。
除非在 ClickHouse 服務器配置中另有說明，否則 NULL 是任何 Nullable 類型的默認值。

用法示例

CREATE TABLE t_null(x Int8, y Nullable(Int8)) ENGINE TinyLog
INSERT INTO t_null VALUES (1, NULL), (2, 3)
SELECT x + y FROM t_null
┌─plus(x, y)─┐
│       ᴺᵁᴸᴸ │
│          5 │
└────────────┘

17、Nested(Name1 Type1, Name2 Type2, …)

嵌套數據結構類似於嵌套表。嵌套數據結構的參數（列名和類型）與 CREATE 查詢類似。每個表可以包含任意多行嵌套數據結構。

示例:

CREATE TABLE test.visits
(
    CounterID UInt32,
    StartDate Date,
    Sign Int8,
    IsNew UInt8,
    VisitID UInt64,
    UserID UInt64,
    ...
    Goals Nested
    (
        ID UInt32,
        Serial UInt32,
        EventTime DateTime,
        Price Int64,
        OrderID String,
        CurrencyID UInt32
    ),
    ...
) ENGINE = CollapsingMergeTree(StartDate, intHash32(UserID), (CounterID, StartDate, intHash32(UserID), VisitID), 8192, Sign)

使用

SELECT
    Goals.ID,
    Goals.EventTime
FROM test.visits
WHERE CounterID = 101500 AND length(Goals.ID) < 5
LIMIT 10

更多內容關注公衆號"數據專場"

clickhouse數據類型

1、UInt8, UInt16, UInt32, UInt64, Int8, Int16, Int32, Int64

2、Float32, Float64

3、NaN and Inf

4、Decimal(P, S), Decimal32(S), Decimal64(S), Decimal128(S)

5、Boolean Values

6、String

7、FixedString

8、UUID

9、Date

10、DateTime64

11、DateTime

12、Enum8, Enum16

13、Array(T)

14、AggregateFunction(name, types_of_arguments…)

15、Tuple(T1, T2, …)

16、Nullable(TypeName)

17、Nested(Name1 Type1, Name2 Type2, …)

如何使用 JS 判斷用戶是否處於活躍狀態

通過HPA+CronHPA組合應對業務複雜彈性伸縮場景

Hadoop任務操作命令

Hadoop運行過程中錯誤解決

解決clickhouse裸奔問題

理解Linux調優參數

NameNode和DataNode之間的交互

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結