原创 Spark學習筆記

Spark 閱讀官方文檔 Spark Quick Start Spark Programming Guide Spark SQL, DataFrames and Datasets Guide Cluster Mode Overv

原创 商品關聯分析

商品關聯分析 關聯 relevance: 主要用在互聯網的內容和文檔上,比如搜索引擎算法文檔中之間的關聯性。 association: 用在實際的事物之上,比如電子商務網站上的商品之間的關聯度。 支持度(support):數據集中包含某

原创 Mac 下 連接OpenVPN - Tunnelblick

OpenVPN 沒有提供官方 Mac 客戶端,而是推薦了使用 Tunnelblick。 在使用中踩了幾個坑,在此記錄。 1. 路徑錯誤 auth-user-pass passwd 公司提供的配置文件最後一句是這麼寫的,passwd

原创 maven dependency中scope=compile 和 provided區別

轉自:http://supercharles888.blog.51cto.com/609344/981316 問題再現: 上次這邊朋友問我一個問題,就是他們在pom.xml中的dependency中,看到有一些是<scope>pro

原创 操作系統實驗 修改系統調用

實驗內容 監測給定PID值的進程調用NtCreateFile次數 在EPROCESS中增加一項數據: NtCreateFileCnt來記錄當前進程調用NtCreateFile的次數  注意NtCreateFileCnt的初始化問題(NtC

原创 Cannot load JDBC driver class 'com.mysql.jdbc.Driver '

今天在搭建springmvc+spring+mybatis時遇到下面這個錯誤,感覺很詭異。 後來才發現是因爲我通過網頁複製粘貼代碼時'com.mysql.jdbc.Driver  '後面多了空格。 HTTP Status 500 -

原创 python 讀文件 寫文件 字符串操作 LIBSVM格式數據轉換

利用python腳本將數據轉換成符合LIBSVM格式的數據 #coding=utf-8 from sys import argv script, input, output = argv txt = open(input,'r')

原创 Sublime Text 高級替換功能 Demo - 利用正則表達式修改內容

目標:在這些大寫縮寫(用([A-Z]+:)正則表達式選出)前加一個換行符, 實現每個縮寫都獨立在一行。 實現方法:使用 Sublime Text的替換功能。在 Replace With 一欄填入\n$1, 點擊 Replace Al

原创 Windows下通過CMD腳本更改環境變量並馬上生效

以JAVA_HOME的設置爲例. 開發中可能遇到手頭開發的兩個項目使用的JDK版本不一樣的情況, 這個時候需要更換JAVA_HOME的路徑. 而Windows修改環境變量出奇的麻煩(系統->…),使用cmd調用下面的腳本,可以自動修改,並

原创 grep使用技巧

篩選不包含關鍵字的行 grep -v 關鍵字

原创 程序包javax.servlet.annotation不存在 webapp+maven

錯誤:程序包javax.servlet.annotation不存在 解決方法:添加依賴 <dependency> <groupId>org.apache.tomcat</groupId> <artifactId>to

原创 使用EmguCV庫時出現"Emgu.CV.CvInvoke的類型初始值設定項引發異常"

問題:如題,使用EmguCV庫時出現"Emgu.CV.CvInvoke的類型初始值設定項引發異常" 開發環境:Visual Studio 2013,Windows 8.1 原因:文件導入不正確,或者平臺設置錯誤 解決方案:查看錯誤的詳細信

原创 SMOTE

SMOTE是處理樣本類別分佈不均衡的數據集的一種算法,它的全稱是Synthetic Minority Over-sampling TEchnique。顧名思義就是合成少數類別樣本的一種算法。它的靈感來自於做數字識別是對圖片進行翻轉等操作生

原创 R語言中實現笛卡爾積的一個方法

x <- 1:3 y <- c('a','b') 怎麼得到一個data.frame等於x,y的笛卡爾積,也就是 1,a; 1,b; 2,a; 2,b; 3,a; 3,b 下面是一個實現方法: as.data.frame(cb

原创 理解Maven Resource的過濾功能

背景 問題的背景是這樣:我的maven工程的resources目錄下包含一個子目錄,裏面存着幾個壓縮包文件。當我用maven打包後發現打完的包的包含的壓縮包文件大小變了,而且無法解壓。 原因 原來我的pom文件是這麼配置的: <resou