原创 Spark 核心概念一
Spark 核心概念圖： Driver：是一個spark 作業運行的啓動的一個Driver進程，作業的主進程，負責作業解析、生成stage，並調度Task到Executor上。 SparkContext: 程序運行的核心，有DAGS
2020-02-26 01:38:38
原创 redis 流水筆記 十 集羣縮容
什麼是集羣縮容 ？ 說白了就是下線節點，判斷該節點上是否有slot，有的進行遷移後並使集羣忘記該節點，否則直接忘記該節點。 2、步驟如下 1、找到需要下線的節點 2、判斷該節點是否有slot，有的進行slot遷移
2020-02-26 01:38:38
原创 Spark Mllib 流水筆記一 統計
1、 範數是具有“長度”概念的函數。在向量空間內，爲所有的向量的賦予非零的增長度或者大小。不同的範數，所求的向量的長度或者大小是不同的。 以上內容來自。https://blog.csdn.net/lioncv/article/detail
2020-02-26 01:38:38
原创 算法 Pearson ？
1、Pearson 相關係數 ，相似度計算， 用於推薦系統用戶推薦上，比如用戶A 看過 電影 M1，M2, M3 ，用戶B 看過電影M1,M3 根據M1,M3 的電影評分，發現用戶A 和用戶B 相似，就可以把 M2電影推薦給用戶B。
2020-02-26 01:38:38
原创 SpringMvc流水筆記二
一月 01, 2020 10:33:46 上午 org.springframework.web.servlet.tags.RequestContextAwareTag doStartTag 嚴重: Type [java.lang.Stri
2020-02-26 01:38:28
原创 spark 流水筆記 Row StructType ?
1、StructType ? 可以指定sql 表 package test import org.apache.spark.sql.{Row, SparkSession} import org.apache.spark.sql.type
2020-02-26 01:38:28
原创 sqoop 1.x 整合mysql jdbc
1、安裝成功後，需要整合mysql 進行數據的讀取。 [root@hadoop01 lib]# cp mysql-connector-java-8.0.17.jar /data/bigData/sqoop/sqoop-1.4.7/li
2020-02-26 01:38:28
原创 spring security 繼承spring boot 一
1、spring security 是進行權限認證的。 2、項目中都是使用基於數據庫的認證方式。 首先我們創建權限相關的表。 一般的權限控制會有 user → role → data_privilege user
2020-02-26 01:38:28
原创 spring boot + mybatis + mysql + mycat 動態分離 四
主題思路是： 通過aop技術，根據請求後臺的方式進行切換datasource 源，是寫還是讀數據。 1、上篇博文說明了mysql 的動態分離。現在需要整合spring boot 進行整合搭建服務,demo項目 2、回憶下m
2020-02-26 01:38:28
原创 redis 整合SpringMvc
1、使用jedis 進行整合redis 和SpringMvc，項目框架如下： 所有的包都在一個工程裏，很不好，後續拆分開來進行開發。 pom.xml 引入jedis <!-- https://mvnrepository.com/art
2020-02-26 01:38:28
1
原创 RabbitMq 手動安裝
git https://github.com/rabbitmq/erlang-rpm 通過yum安裝很方便。 安裝rabbitmq # In /etc/yum.repos.d/rabbitmq_erlang.repo [rabbitmq
2020-02-26 01:38:28
原创 mybatis 整合springMvc 二
mybatis 整合dao 層代碼； 需要配置 mybatis-config.xml 用於使用spring 實例化一個sqlsessionFactoryBean 工廠類。 <?xml version="1.0" encoding="
2020-02-26 01:38:28
原创 Mysql 安裝一
1、需要環境 centos7 2、檢查本地是否安裝了mysql [root@mysql_a ~]# cd /usr/local/ [root@mysql_a local]# ls # 檢查是否安裝了mysql [root@m
2020-02-26 01:38:28
原创 redis 集羣搭建 九 redis-cli --cluster 集羣搭建
1、 使用redis-cli --cluster help 進行安裝redis集羣。 [root@hadoop05 bin]# ./redis-cli --cluster help Cluster Manager Commands:
2020-02-26 01:38:28
原创 hive
1/ 連接hive 失敗 ？ SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/hive/apache-h
2020-02-26 01:38:28