原创 hive on spark參數配置
hive on Spark參數： set spark.master=yarn-cluster; #設置spark提交模式 set hive.execution.engine=spark;
2020-06-21 17:12:40
1
原创 hive文件的存儲格式
列式存儲和行式存儲 上圖左邊爲邏輯表，右邊第一個爲行式存儲，第二個爲列式存儲。 行存儲的特點： 查詢滿足條件的一整行數據的時候，列存儲則需要去每個聚集的字段找到對應的每個列的值，行存儲只需要找到其中一個值，其餘的值都在相鄰地方，
2020-06-21 16:32:47
原创 spark checkpoint基礎
翻譯自：http://spark.apache.org/docs/2.1.1/streaming-programming-guide.html#checkpointing spark streaming流應用程序必須24/7運行，
2020-06-21 16:32:36
原创 Spark的Checkpoint源碼和機制
Spark的Checkpoint源碼和機制 1 Overview A checkpoint creates a known good point from which the SQL Server Database Engine
2020-06-21 16:32:35
1
原创 spring boot jpa學習筆記（一）
文章目錄Spring Boot Jpa 介紹spring boot jpa 能做什麼基本查詢預先生成方法自定義的簡單查詢複雜查詢分頁限制查詢多表查詢自定義SQL操作JPA常用註解yml配置 Spring Boot Jpa 介紹 J
2020-06-21 16:32:35
1
原创 通過生成大寬表來優化kylin的cube構建
Kylin將Cube構建任務分解爲幾個依次執行的步驟，這些步驟包括Hive操作、MapReduce操作和其他類型的操作。如果你有很多Cube構建任務需要每天運行，那麼你肯定想要減少其中消耗的時間。本文的優化主要是講kylin對於j
2020-06-21 16:32:35
原创 Creating the Principals and Keytab on Active Directory
Active Directory存儲關於Windows域成員的信息，包括用戶和hosts。 verticause使用Kerberos協議來訪問這些信息，以便對Windows用戶進行Vertica數據庫的身份驗證。Kerberos協
2020-06-10 04:23:08
原创 Kerberos Authentication -- Configure JDBC Clients on All Platforms
JDBC客戶機上的Kerberos身份驗證使用Java身份驗證和授權服務(JAAS)獲取初始Kerberos憑證。JAAS是一個API框架，它隱藏特定於平臺的身份驗證細節，併爲其他應用程序提供一致的接口。 您可以通過JAAS登錄配
2020-06-10 04:23:08
原创 springMVC的controller單例和多例下成員變量的問題
首先上測試代碼 import org.springframework.context.annotation.Scope; import org.springframework.stereotype.Controller; impo
2020-06-10 04:23:08
原创 vertica JDBC API 之 VerticaCopyStream
VerticaCopyStream類(有關該類的詳細信息可在JDBC文檔中找到)允許您將數據從客戶機系統傳輸到Vertica數據庫。它允許直接使用SQL COPY語句，而不必首先將數據複製到數據庫集羣中的主機。使用複製命令從主機加
2020-05-11 11:02:14
3
原创 vertica 最佳實踐之 ROS Bundling
ROS BundlingVertica file architectureNew storage formatHow is the new format different?Does the new functionality b
2020-05-03 23:57:50
原创 vertica 最佳實踐之 Data Loading in Vertica Using COPY
Data Loading in Vertica Using COPY使用COPY語句批量加載COPY語句如何加載數據加載方式何時使用COPY AUTO何時使用COPY DIRECT何時使用COPY TRICKLE監視數據負載的Ve
2020-05-03 23:57:50
2
原创 vertica 最佳實踐之 Reading Query Plans
Reading Query PlansQuery PlansThe EXPLAIN StatementEXPLAIN Output OptionsEXPLAIN ResultsTextual Output for EXPLAING
2020-05-03 23:57:50
原创 vertica最佳實踐之 tuple_mover操作
vertica最佳實踐之 tuple_mover操作Tuple Mover OverviewTuple Mover Moveout Operation檢測wos spillovermoveout最佳實踐使用COPY DIRECT
2020-05-03 23:57:50
原创 vertica最佳實踐之優化projection
文章目錄How Vertica Works with ProjectionsHelpful TipsSegmentationEncodingMonitoring ProjectionsOther Projection TasksR
2020-05-03 23:57:50
12