原创 spark Linux系統 安裝配置 附安裝包
1 tar -zxvf 文件名解壓spark 2 cd到spark目錄是conf cp spark-env.sh.template spark-env.sh #使用模板 vi spark-env.sh 添加 export JAV
2020-07-07 17:30:43
原创 nginx 設置賬戶密碼訪問
nginx 使用賬戶密碼 利用了apache http web服務器在後臺服務httpd 在centos中 安裝httpd服務 yum install -y httpd 創建密碼文件並添加一個用戶 htpasswd -c /op
2020-06-20 17:29:58
原创 Redis 分佈式過濾器之布隆過濾器 Redisson java實現
算法簡介 布隆過濾器是由巴頓.布隆於一九七零年提出的。它實際上是一個很長的二進制向量和一系列隨機映射函數。我們通過上面的例子來說明起工作原理。 假 定我們存儲一億個電子郵件地址，我們先建立一個十六億二進制（比特），即兩億字節的向量，然後
2020-06-20 16:23:38
3
原创 推薦系統之商品相似度模型
1 商品的特徵提取 商品分類 商品價格 商品團人數 商品中單人數 2相似度計算 A數據歸一化 思想 爲了防止不同特性的數據差異過大，造成噪聲，導致算法結果不準確。所有需要將特徵值
2020-06-20 16:23:38
13
原创 Redis 分佈式鎖之紅鎖 Redisson java實現
算法思想 獲得當前時間（ms） 首先設置一個鎖有效時間valid_time，也就是超過這個時間後鎖自動釋放，使用相同的key和value對所有redis實例進行設置，每次鏈接redis實例時設置一個小於valid_time的超時時
2020-06-20 16:23:38
原创 hadoop dfs 安裝日誌
1.準備Linux環境 1.0先將虛擬機的網絡模式選爲NAT 1.1修改主機名 vi /etc/sysconfig/network NETWORKING=
2020-06-09 15:28:38
原创 spark 本地調試
package com.zr.spark.machineLearing import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.
2020-06-09 15:28:38
原创 筆記 spark提交任務
spark 提交任務 筆記 ./spark-submit --class org.apache.spark.examples.SparkPi --master spark://localhost:7077 /opt/app/spark/
2020-06-09 15:28:38
原创 Rdd創建的兩種方式
1 parallelize 函數 val paraAdd= sc.parallelize(Array(1 to 100)) 2 外部存儲創建操作 val lines: RDD[String] = sc.textFile("user.l
2020-06-09 15:28:38
原创 python的request模塊基本運用
coding=utf-8 import requests import json class foo(object): def __init__(self): def get(self): r = requests.g
2020-06-09 15:28:38
原创 centos nginx服務器搭建
依賴庫的下載 yum install gcc-c++ yum install -y pcre pcre-devel yum install -y openssl openssl-devel yum install -y zl
2020-05-07 22:44:56
原创 nginx 配置 ssl 均衡負載
user root; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/erro
2020-05-07 22:44:56
原创 Java 多線程 回調地獄解決方式
利用completableFuture 事件回調解決 public static void main(String[] args) throws InterruptedException { long l = System.cu
2020-05-07 22:44:56
原创 font在linux上字體亂碼問題
安裝linux的fontconfig yum -y install fontconfig 將windom的字體文件上傳到linux 設置文件的文件名 chmod -R 755 /usr/share/fonts/chinese 安裝
2020-05-07 22:44:56
原创 Netty獲取 post請求 body裏面二進制流
1 from data方式提交數據 讀取方式 廢話不多說 直接上代碼 private HttpPostRequestDecoder decoder;//Handel私有變量 HttpRequest request = (Ht
2020-05-03 11:32:35