原创 Parquet性能測試之項目實踐中應用測試
因爲從事大數據方面的工作，經常在操作過程中數據存儲佔空間過大，讀取速率過慢等問題，我開始對parquet格式存儲進行了研究，下面是自己的一些見解（使用的表都是項目中的，大家理解爲寬表即可）： 一、SparkSql中兩種格式存儲的讀寫性能（以
2019-02-22 20:05:59
原创 Shell腳本總結
1、首行固定格式#!/bin/bash#註釋，第一行格式固定2、賦予文件執行的權限chmod +x file1name3、管道操作符 (|) ，將一個命令的輸出作爲另外一個命令的輸入grep "hello" file.txt | wc
2019-02-22 20:05:59
原创 Parquet性能測試調優及其優化建議
Parquet性能測試調優及其優化建議 一、我們爲什麼選擇parquet 1、選擇parquet的外部因素 （1） 我們已經在使用spark集羣，spark原本就支持parquet，並推薦其存儲格式
2018-09-11 08:10:51
5
原创 Oracle數據庫MD5算法
因爲我們初始的數據有問題，需要批量的導入，我們創建了oracle的MD5算法，對用戶名和密碼進行了加密；簡單的兩步操作： 1、寫函數：create or replace function "MD52"(passwd in varchar2)
2018-09-11 08:10:51
原创 各種座標系互相轉換（WGS84轉換BD-09主要）
背景：最近用百度地圖加載幾萬個點，然後畫多邊形和線段，用百度API提供的方法一次轉10個，超級慢，我就在後臺調用轉換方法，直接頁面上去展示，結果7萬個點畫到地圖用了幾秒時間。分享一下，感覺有用點贊，還有一些其他的轉換方法-------最終結
2018-09-11 08:10:50
10
原创 Parquet性能測試之項目實踐中應用測試
因爲從事大數據方面的工作，經常在操作過程中數據存儲佔空間過大，讀取速率過慢等問題，我開始對parquet格式存儲進行了研究，下面是自己的一些見解（使用的表都是項目中的，大家理解爲寬表即可）： 一、SparkSql中兩種格式存儲的讀寫性能（以
2018-09-11 08:10:50
原创 Java代碼實現發送郵件
package com.ust.email; import java.io.File;import java.util.Date; import javax.activation.DataHandler;import javax.activ
2018-09-11 08:10:50
原创 不使用Sqoop流程，利用CacheManager直接完成SparkSQL數據流直接回寫Oracle
以前都是使用Sqoop來完成數據從生成的hdfs數據存儲上來抽取至oracle的數據庫：sqoop抽取語句：sqoop export --connect "jdbc:oracle:thin:@ip:port:sid" --username
2018-09-11 08:10:50
原创 百度Api完成在線地圖定位顯示
地址：http://lbsyun.baidu.com/jsdemo.htm#c1_3 <!DOCTYPE html><html><head><meta http-equiv="Content-Type" content="text/htm
2018-09-11 08:10:50
原创 Oracle數據庫經常使用但是不好記憶的語句
1、關聯更新表操作比如說我們需要對一張表進行操作，一般update一下就可以了，但是有時候條件必須要關聯過來，這個oracle和mysql有一些差異，我就直接說oracle的：update sys_role tset t.password
2018-09-11 08:10:50
2
原创 GPS轉化爲百度座標地圖展示
地址：http://lbsyun.baidu.com/jsdemo.htm#c1_3 <!DOCTYPE html><html><head><meta http-equiv="Content-Type" content="text/html
2018-09-11 08:10:50
原创 Java根據IP獲取國家省級地市信息
package com.ust.map; import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import ja
2018-09-11 08:10:50
原创 Java如何解析二維碼
package com.ust.map;import java.awt.image.BufferedImage;import java.io.File;import java.io.IOException; import javax.ima
2018-09-11 08:10:50
原创 快速生成百度地圖大數據覆蓋物的方法研究
由於必須大批量的加載覆蓋物，要求必須要秒級，在看了百度提供的mapv大數據展示，有所啓發，地址：http://mapv.baidu.com/gallery.html 因爲之前數據都存在數據庫，通過下載demo裏面的文件，發現他們加載的基本都
2018-09-11 08:10:50
原创 Shell腳本總結
1、首行固定格式#!/bin/bash#註釋，第一行格式固定2、賦予文件執行的權限chmod +x file1name3、管道操作符 (|) ，將一個命令的輸出作爲另外一個命令的輸入grep "hello" file.txt | wc
2018-09-11 08:10:49