原创 Shell腳本中替換字符串等操作
一、判斷讀取字符串值 表達式 含義 ${var} 變量var的值, 與$var相同 ${var-DEFAULT} 如果var沒有被聲明, 那麼就以$DEFAULT作爲其值 * ${var:-DEFAULT} 如果var沒有被聲明
2018-10-27 06:07:38
原创 Apache Ambari 源碼編譯安裝
1、執行以下操作，本文選擇的Ambari是2.7.0版本； wget http://www.apache.org/dist/ambari/ambari-2.7.0/apache-ambari-2.7.0-src.tar.gz (use
2018-09-30 05:47:43
9
原创 Atlas導入Hive元數據
1、設置hive-site.xml ; <property> <name>hive.exec.post.hooks</name> <value>org.apache.atlas.hive.hook.HiveH
2018-09-26 05:29:53
35
原创 Apache Atlas 安裝
1、從官網下載源碼http://atlas.apache.org/Downloads.html ，本項目選擇source 0.8.2； 2、下載好包後，上傳到服務器中某個機器上；解壓包； tar -zxvf apach
2018-09-18 05:11:17
3
原创 rm 刪除文件後磁盤依然佔用
lsof命令用於查看你進程開打的文件，打開文件的進程，進程打開的端口(TCP、UDP)。找回/恢復刪除的文件。是十分方便的系統監視工具，因爲lsof命令需要訪問核心內存和各種文件，所以需要root用戶執行。 在linux環境下，任何事物都
2018-09-13 10:02:29
原创 Jar包在Eclipse中 中文亂碼
（1）檢查自己項目設置的編碼 （2）檢查導入的jar源代碼設置的編碼 （3）檢查Eclipse中文本文件設置的編碼 （4）檢查java源文件設置的編碼 （5）以上全部設置完之後，maven update項目 （6）
2018-09-13 10:02:29
原创 mybatis：元素內容必須由格式正確的字符數據或標記組成
1、利用mybatis寫Dao層 @Select("<script> select count(*) from p_comment where 1=1 " +"<if test='csid != null'> and csid =
2018-09-06 17:13:56
原创 協方差、相關係數
機器視覺中，常用到協方差相關的知識，特別是基於統計框架下的機器學習算法，幾乎無處不在的用到它，因此瞭解協方差是再基礎不過的了。這裏推薦一個很不錯的基礎教程：協方差的意義和計算公式均值和方差引入協方差之前，先簡單回顧下概率統計中的兩個重要
2018-08-22 10:48:51
原创 特徵選擇和特徵理解
特徵選擇和特徵理解特徵選擇(排序)對於數據科學家、機器學習從業者來說非常重要。好的特徵選擇能夠提升模型的性能，更能幫助我們理解數據的特點、底層結構，這對進一步改善模型、算法都有着重要作用。特徵選擇主要有兩個功能：減少特徵數量、降維，使模型
2018-08-22 10:48:34
原创 L1 L2範式
正則化（Regularization）機器學習中幾乎都可以看到損失函數後面會添加一個額外項，常用的額外項一般有兩種，一般英文稱作ℓ1ℓ1-norm和ℓ2ℓ2-norm，中文稱作L1正則化和L2正則化，或者L1範數和L2範數。L1正則化和L
2018-08-22 10:48:33
2
原创 大規模數據處理中拒絕連接錯誤分析處理
1、處理的數據有幾百個G,把數據處理成按照手機號計算1萬多個特徵 ；2、數據處理環境： spark-2.0.2; --executor-memory 40g --total-executor-cores 120 --driv
2018-08-22 10:48:33
88
原创 Mysql 使用關鍵字作爲字段的反例及數據庫命名規範
1、數據庫表的設計 CREATE TABLE `p_article_label` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '編號', `group` int(3) DEFA
2018-08-22 10:48:33
原创 LogisticRegression
1. 概述 在scikit-learn中，與邏輯迴歸有關的主要是這3個類。LogisticRegression， LogisticRegressionCV 和logistic_regression_path。其中LogisticRe
2018-08-22 10:48:33
原创 ParameterizedType應用，java反射，獲取參數化類型的class實例
ParameterizedType是一個接口，這個類可以用來檢驗泛型是否被參數化比如:class Dao<T>{ public Dao(){ }}上面的這個類，也就是泛型類，當有子類集成它的時候，子類也許會將其參數化，當然也可能不
2018-08-22 10:48:33
原创 使用jsoup選擇器來查找元素
一、用途 使用jsoup解析網頁，抓取手機型號和系統信息； 二、獲取方式 例子： /** * 獲取終端製造商鏈接列表 * * @return */ public List<VendorVo> getVendors()
2018-08-22 10:48:33
3