原创 CentOS6.4下配置網絡爲NET模式
修改對應網卡的IP地址的配置文件 cd /etc/sysconfig/network-scripts vim ifcfg-eth0 DEVICE=eth0 BOOTPROTO=static BROADCAST=192.1
2020-02-25 06:47:26
原创 CentOS6集羣免密碼登錄
CentOS6集羣免密碼登錄 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=bigdata-fy1 GATEWAY=192.168.239.2 vim /etc/hosts
2020-02-25 06:47:26
原创 hive lateral view 與explode
行轉列：explode 將輸入的一行數組或者map轉換成列輸出 語法：explode(array (or map)) SELECT explode(myCol) AS myNewCol FROM myTable; 多行轉換：
2020-02-25 06:47:26
原创 HIVE多行轉多列 和 多列轉多行
1、HIVE多行轉多列 源數據樣式 把CAMERA_NO，RESULT_DATA兩列轉換爲CAMERA_NO字段的數據爲列名，RESULT_DATA字段對應CAMERA_NO的數據爲值 方法一：利用str_to_map函數 al
2020-02-25 06:47:26
原创 Pingo數據庫數據導入palo數據庫
首先在palo數據庫中建立表格 CREATE TABLE `sfc_2050_mea_f_t_zongbiao_total_analysisdata` ( `zp_carrier_code_1` varchar(200) CO
2020-02-25 06:47:26
原创 Pingo數據庫操作
數據導入Pingo數據庫 alter table dw.acoustics.2050_mea_f_t_zongbiao_analysisdata add if not exists partition(date='2019113
2020-02-25 06:47:26
原创 利用python進行數據分析一基礎知識
JSON格式(JavaScript Object Notation) python三元表達式 Python中的三元表達式可以將if-else語句放到一行裏。語法如下： value = true-expr if condition
2020-02-25 06:47:26
原创 pingo、palo建表及從pingo往palo數據庫導入數據使用方式
Pingo工作空間建表方式一： CREATE TABLE `dw.acoustics`.`test20191220` (`prod_code` string , `ball_code` string COMMENT '', `ci
2020-02-25 06:47:26
原创 Hadoop2.x HA架構與部署
vim hdfs-site.xml <configuration> <property> <name>dfs.nameservices</name> <value>ns</value> </p
2020-02-25 06:47:26
原创 minos、pingo、palo數據庫使用總結
spark.sql("show partitions ods.acoustics.sfc_2050_sfc1216j.2050_tb_txtcollect_neici").collect() spark.sql("alter t
2020-02-25 06:47:26
原创 python3獲取Elasticsearch數據庫數據
python3獲取Elasticsearch數據庫數據 採用scoll滾動搜索，scoll搜索會在第一次搜索的時候保存一個當時的視圖快照，之後只會基於該舊的視圖快照提供數據搜索，這個期間數據變更，用戶是看不到的，每次發送scoll
2019-12-03 06:29:32
3
原创 sqlserver語法
創建表 create TABLE yftest ( name NVARCHAR(30), age int, subject NVARCHAR(30), score int ) 添加數據 insert into yftest (n
2019-12-03 06:29:32
原创 mysql語法——基於palo數據庫
Doris 前身是 Palo ，Palo 是百度自研的基於 MPP 的交互式 SQL 數據倉庫，主要目標是支撐穩定的、在線的、交互式的數據報表(Reporting)和數據多維分析（OLAP）服務。它主要集成了 Google Mes
2019-12-03 06:29:31
原创 python庫下載網站
python各種庫的下載網站 下載後安裝方式： pip install D:/ce/SQLAlchemy-1.3.11-cp36-cp36m-win32.whl
2019-12-03 06:29:31
3
原创 CentOS6配置ssh免密登錄
s# CentOS6配置ssh免密登錄 三臺服務器主機名與IP地址映射： 192.168.0.101 bigdata-fy1 192.168.0.102 bigdata-fy2 192.168.0.103 bigdata-f
2019-10-26 10:25:12