原创 C#使用Http Post方式傳遞Json數據字符串調用Web Service
引言 前段時間一直在做一個ERP系統，隨着系統功能的完善，客戶端（CS模式）變得越來越臃腫。現在想將業務邏輯層以下部分和界面層分離，使用Web Service來做。由於C#中通過直接添加引用的方來調用Web Service的方式不
2020-02-20 13:08:40
原创 spark mllib機器學習之二 DecisionTree
數據格式： 1 1:2 2:3 3:4 2 1:1 2:2 3:3 1 1:1 2:3 3:3 1 1:3 2:1 3:3 1 1:4 2:6 3:7 2 1:1 2:5 3:5 1 1:3 2:3 3:3 1 1:3 2:2 3:3
2020-02-20 13:08:40
原创 spark Error initializing SparkContext System memory 466092032 must be at least 471859200.
ERROR SparkContext: Error initializing SparkContext. Java.lang.IllegalArgumentException: System memory 259522560 must b
2020-02-20 13:08:40
1
原创 Windows下搭建Spark+Hadoop開發環境
Windows下搭建Spark+Hadoop開發環境需要一些工具支持。 只需要確保您的電腦已裝好Java環境，那麼就可以開始了。 一. 準備工作 1. 下載Hadoop2.7.1版本（寫Spark和Hadoop主要是用
2020-02-20 13:08:40
原创 spark mllib機器學習之一 LogisticRegressionWithLBFGS
數據格式： (0,[1,1,1,0,1,1,1]) (1,[0,0,1,0,0,1,0]) (2,[1,0,1,1,1,0,1]) (3,[1,0,1,1,0,1,1]) (4,[0,1,1,1,0,1,0]) (5,[1,1,0,1,
2020-02-20 13:08:40
原创 Spark性能優化：數據傾斜調優
前言 繼《Spark性能優化：開發調優篇》和《Spark性能優化：資源調優篇》講解了每個Spark開發人員都必須熟知的開發調優與資源調優之後，本文作爲《Spark性能優化指南》的高級篇，將深入分析數據傾斜調優與shuffle調
2018-09-03 16:52:23
原创 github使用
如果你是一枚Coder，但是你不知道Github，那麼我覺的你就不是一個菜鳥級別的Coder，因爲你壓根不是真正Coder，你只是一個Code搬運工。但是你如果已經在讀這篇文章了，我覺的你已經知道Github了。正是Github，讓社會化
2018-09-03 16:52:22
原创 Spark性能優化：shuffle調優
shuffle調優 調優概述 大多數Spark作業的性能主要就是消耗在了shuffle環節，因爲該環節包含了大量的磁盤IO、序列化、網絡數據傳輸等操作。因此，如果要讓作業的性能更上一層樓，就有必要對shuffle過程進行
2018-09-03 16:52:22
原创 Spark性能優化：開發調優篇
1、前言 在大數據計算領域，Spark已經成爲了越來越流行、越來越受歡迎的計算平臺之一。Spark的功能涵蓋了大數據領域的離線批處理、SQL類處理、流式/實時計算、機器學習、圖計算等各種不同類型的計算操作，應用範圍與前景非
2018-09-03 16:52:22
原创 C# 實現自己畫內容並打印
1. 首先在界面中拉入三個控件，右邊爲panel 2. 界面初始化添加自打印事件，PrintEveryPage函數中添加打印內容 public FrmPrinter() { Initializ
2018-09-03 16:52:22
原创 windows下局域網內複製整個文件夾腳本bat
若複製到當前bat所在文件夾下要用%~dp0\* 若使用%~dp0\提示創建文件失敗 net use \\10.1.31.15 123/user:administrator del /a /f /s /q %~dp0\*.ps1 del
2018-09-03 16:52:22
原创 spark rdd 自動分區
spark (key,value)類型的rdd纔會有partitionby函數 rdd的運算都是以partition作爲單位，合理的partition分配將會極大提高運算速度 另一篇博客中寫到： 我們都知道Spark內部提供了Hash
2018-09-03 16:52:22
原创 Spark性能優化：資源調優篇
在開發完Spark作業之後，就該爲作業配置合適的資源了。Spark的資源參數，基本都可以在spark-submit命令中作爲參數設置。很多Spark初學者，通常不知道該設置哪些必要的參數，以及如何設置這些參數，最後就只能胡亂設置，甚至壓
2018-09-03 16:52:22
原创 spark streaming案例整理
scala程序實現，接收一個端口發來的信息：端口信息使用模擬程序來實現一個端口發來的信息。代碼如下： 程序生成A-G的隨機字母 importjava.io.PrintWriter importjava.net.ServerS
2018-09-03 16:52:22
原创 Ubuntu 刪除安裝軟件
1、刪除軟件 方法一、如果你知道要刪除軟件的具體名稱，可以使用 sudo apt-get remove --purge 軟件名稱 sudo apt-get autoremove --purge 軟件名稱 方法二、如果不知道要刪除軟
2018-09-03 16:52:22