原创 HIVE--Row is not a valid JSON Object
報錯 解決方法 ALTER TABLE tb1 SET SERDEPROPERTIES ( “ignore.malformed.json” = “true”);
原创 臨時表和普通表日誌量產生的對比
1.臨時表和普通表日誌量產生的對比 1.1臨時表的創建 在第一個會話中創建session1 -創建session級別的臨時表 SQL> create global temporary table tb_temp1 (id integer,
原创 hadoop的安裝
Hadoop安裝文檔 1.安裝環境 操作系統類型:CentOS-6.2-x86_64-bin-DVD1.iso JDK:jdk-7u21-linux-x64 .rpm Hadoop:hadoop-1.1.2.tar.gz 集羣中包括四
原创 Logistic迴歸
#coding=utf-8 import numpy as np import pandas as pd def loadDataSet(): dataMat = [] labelMat = [] fr
原创 canal HA部署
1、服務器分配 IP 類型 端口號 其它 版本號 10.200.48.67 Zookeeper 2181 10.200.48.68 10.200.48.69 10.200.48.70 10.200.48
原创 HIVE正則解析文本中URL
示例: regexp_extract(text_content,'((((http?|https)://)|http)[-A-Za-z0-9+&@#/%?=~_|!:,.;()]+[-A-Za-z0-9+&@#/%=~_|])')
原创 JsonSerde - a read/write SerDe for JSON Data
Build Status: master : Build Status develop:Build Status This library enables Apache Hive to read and write in JSON f
原创 rac2節點->單節點oracle dataguard 搭建
DATAGUARD搭建 1. 二節點RAC+singledg 1. 修改歸檔 2. 準備備庫 [root@localhost~]# su - oracle [oracle@localhost~]$ ls database [or
原创 Oracle->oracle pump單向複製
Oracle-oracle pump單向複製 1.軟件環境 Linuxcentos5.6 32位 Oracle10g 32位 Goldengatefor oracle 10g 32位 源庫和目標庫都是Oracle,實現的是pump單向複製
原创 oracle10g goldengate安裝oracle-oracle單向複製
Oracle-oracle單向複製 1.軟件環境 Linux centos5.6 32位 Oracle 10g 32位 Goldengate for oracle 10g 32位 源庫和目標庫都是Oracle,實現的是單向複製 2.gol
原创 OGG-01200
goldengate 初始化加載遇到如下問題 ogg報錯: 2013-08-12 20:43:32 ERROR OGG-01200 Oracle GoldenGate Delivery for Oracle, ir002.prm:
原创 【Hive】- JsonSerde
1、格式錯誤的數據的默認行爲是拋出異常,這通常會影響正常使用,通過以下配置,可以避免 ALTER TABLE json_table SET SERDEPROPERTIES ( “ignore.malformed.json” =
原创 Hive-JSON-Serde
https://github.com/rcongiu/Hive-JSON-Serde
原创 RAC時間不同步引起的錯誤
在安裝 Oracle 集羣件、數據庫以及隨附 CD 期間,Oracle Universal Installer (OUI) 將首先安裝運行該安裝程序的本地節點(即 linux1)的軟件。然後,將該軟件以遠
原创 group by rollup 和grouping的使用實例
GROUPING函數可以接受一列,返回0或者1。如果列值爲空,那麼GROUPING()返回1;如果列值非空,那麼返回0。GROUPING只能在使用ROLLUP或CUBE的查詢中使用。當需要在返回空值的地方顯示某個值時,GROUPING()