原创 HIVE--Row is not a valid JSON Object

報錯 解決方法 ALTER TABLE tb1 SET SERDEPROPERTIES ( “ignore.malformed.json” = “true”);

原创 臨時表和普通表日誌量產生的對比

1.臨時表和普通表日誌量產生的對比 1.1臨時表的創建 在第一個會話中創建session1 -創建session級別的臨時表 SQL> create global temporary table tb_temp1 (id integer,

原创 hadoop的安裝

Hadoop安裝文檔 1.安裝環境 操作系統類型:CentOS-6.2-x86_64-bin-DVD1.iso JDK:jdk-7u21-linux-x64 .rpm Hadoop:hadoop-1.1.2.tar.gz   集羣中包括四

原创 Logistic迴歸

#coding=utf-8 import numpy as np import pandas as pd def loadDataSet(): dataMat = [] labelMat = [] fr

原创 canal HA部署

1、服務器分配 IP 類型 端口號 其它 版本號 10.200.48.67 Zookeeper 2181 10.200.48.68 10.200.48.69 10.200.48.70 10.200.48

原创 HIVE正則解析文本中URL

示例: regexp_extract(text_content,'((((http?|https)://)|http)[-A-Za-z0-9+&@#/%?=~_|!:,.;()]+[-A-Za-z0-9+&@#/%=~_|])')

原创 JsonSerde - a read/write SerDe for JSON Data

Build Status: master : Build Status develop:Build Status This library enables Apache Hive to read and write in JSON f

原创 rac2節點->單節點oracle dataguard 搭建

DATAGUARD搭建 1. 二節點RAC+singledg 1.   修改歸檔 2.   準備備庫 [root@localhost~]# su - oracle [oracle@localhost~]$ ls database [or

原创 Oracle->oracle pump單向複製

Oracle-oracle pump單向複製 1.軟件環境 Linuxcentos5.6 32位 Oracle10g 32位 Goldengatefor oracle 10g 32位 源庫和目標庫都是Oracle,實現的是pump單向複製

原创 oracle10g goldengate安裝oracle-oracle單向複製

Oracle-oracle單向複製 1.軟件環境 Linux centos5.6 32位 Oracle 10g 32位 Goldengate for oracle 10g 32位 源庫和目標庫都是Oracle,實現的是單向複製 2.gol

原创 OGG-01200

goldengate 初始化加載遇到如下問題 ogg報錯: 2013-08-12 20:43:32  ERROR   OGG-01200  Oracle GoldenGate Delivery for Oracle, ir002.prm:

原创 【Hive】- JsonSerde

1、格式錯誤的數據的默認行爲是拋出異常,這通常會影響正常使用,通過以下配置,可以避免 ALTER TABLE json_table SET SERDEPROPERTIES ( “ignore.malformed.json” =

原创 Hive-JSON-Serde

https://github.com/rcongiu/Hive-JSON-Serde

原创 RAC時間不同步引起的錯誤

在安裝 Oracle 集羣件、數據庫以及隨附 CD 期間,Oracle Universal Installer (OUI) 將首先安裝運行該安裝程序的本地節點(即 linux1)的軟件。然後,將該軟件以遠

原创 group by rollup 和grouping的使用實例

GROUPING函數可以接受一列,返回0或者1。如果列值爲空,那麼GROUPING()返回1;如果列值非空,那麼返回0。GROUPING只能在使用ROLLUP或CUBE的查詢中使用。當需要在返回空值的地方顯示某個值時,GROUPING()