原创 Streaming-kafka-mysql (scalikejdbc)
package kafka import java.sql.DriverManager import com.typesafe.config.ConfigFactory import org.apache.kafka.common.
2020-06-26 16:05:23
原创 關於git的ssh免密步驟
1.打開安裝好的見客戶端 2.點擊Help，選中Show SSH Key 生成免密登錄密碼 3.打開git項目網頁，找到SSH Keys 4.將生成的免密登錄密碼粘貼到git網頁 5.用IDEA直接拉取數據
2019-07-07 16:05:34
原创 利用sqoop將存入在HDFS上的數據導入到MySQL中
首先要在mysql中創建表 執行導出的命令： bin/sqoop export \ --connect jdbc:mysql://localhost:3306/庫名 \
2019-04-23 17:22:01
原创 SQL的存儲過程
使用存儲過程： 存儲過程可以改變SQL語句的運行性能，提高執行效率；還可以作爲一種安全機制，使用戶通過它來訪問未被授權的表和視圖。存儲過程包括的創建、執行、查看、修改和刪除 概念：存儲過程是一組預先編譯好的Tr
2019-04-23 17:22:01
原创 Python入門
註釋： 單行註釋 # （爲了保持格式規範，在#號後面加一個空格） 多行註釋 """ """ 1.計算機的三大件： cpu：中央處理器，是一塊超大規模的集成電路 負責
2019-04-09 16:06:32
原创 sql開發注意點
1.在postgre中數據類型的轉換： String =》text double =》double precision 2.在postgre中給表及字段添加註釋： comment on table 表名 is ' ' ；給表添加註釋 c
2019-03-22 16:08:23
原创 tableau數據可視化工具
教程地址 https://www.tableau.com/zh-cn/learn/training https://mp.weixin.qq.com/s/E547hfDXV_w78O0d9qKBYg 維度&度量是什麼？ 維度：用來對數據進
2019-01-28 03:55:03
6
原创 新方式分析JSON(三範式)---
package Batch2 import org.apache.spark.sql.types._ import org.apache.spark.sql.{DataFrame, Dataset, SQLContext} imp
2019-01-22 01:07:40
原创 三範式（面向對象，面向過程，面向函數）
package Batch2 import org.apache.spark.sql.types._ import org.apache.spark.{SparkConf, SparkContext} import org.apach
2019-01-22 01:07:29
原创 zeroMq的使用
ZeroMQ簡介: ZeroMQ是一種基於消息隊列的多線程網絡庫.提供跨越多種傳輸協議(TCP:傳輸控制協議,當傳輸出現錯誤時,能自動予以糾正;UDP:用戶數據包協議,當傳輸出現錯誤時會將錯誤信息丟棄;)的套接字,ZeroMQ是一個可伸縮
2019-01-17 01:42:39
原创 ALS算法(推薦系統)
測試數據 用戶ID,物品ID,評分 1,101,5.0 1,102,3.0 1,103,2.5 2,101,2.0 2,102,2.5 2,103,5.0 2,104,2.0 3,101,2.5 3,104,4.0 3,105,4.5
2019-01-14 02:00:41
3
原创 MongoDB入門
卸載:https://blog.csdn.net/benben_2015/article/details/83065478 最新版MongoDB支持事務 : https://docs.mongodb.com/manual/core/tra
2019-01-13 01:54:54
原创 spark-mongoDB的Api
導入依賴 <dependency> <groupId>org.mongodb.spark</groupId> <artifactId>mongo-spark-connector_2.11<
2019-01-13 01:54:54
2