原创 Mysql 數據庫查詢和修改引擎
一 Mysql引擎 Mysql有很多的表引擎，其中最常用的是MyISAM和InnoDB 在說上面InnoDB的時候沒有說刪除，是因爲InnoDB在處理Delete的時候沒有重新建立表，而是一行一行的刪除。還有InnoDB也不支持全文索引
2020-05-07 03:50:48
2
原创 CentOS7進單用戶模式修改密碼失敗解決方法
Cent SO7 root用戶密碼忘記，修改完密碼之後系統啓動後一直停留在轉圈的界面（CentOS GUI版）。 啓動的時候在出現一行錯誤：faild to load SELinux policy freezing， 解決方法： Ce
2020-04-28 09:51:43
原创 CentOS 5升級Python版本（2.4>2.7）
日前在CentOS上搭建測試環境時候，遇到需要升級python版本的情況，於是就記錄了整個升級的過程： 在CentOS5中自帶的Python版本是2.4，但是目前許多基於Python的應用軟件要求的Python版本應要高於2.4。
2020-02-21 03:46:50
原创 用PyCharm專業版實現遠程調試tensorflow
我們需要設置兩個地方：遠程服務器和遠程解析器。 設置遠程服務器：Tools -> Deployment -> Configuration 打開設置界面，點擊“+”號添加遠程主機，如下圖所示。最後是選擇要同步的文件夾的路徑。就是選擇你本
2020-02-21 03:46:50
原创 spark配置文件加載的先後順序
轉自：https://github.com/keepsimplefocus/spark-sourcecodes-analysis/blob/master/markdowns/Spark讀取配置.md Spark讀取配置 我們知道，有
2020-02-21 03:46:50
原创 Spark 官方文檔（4）——Configuration配置
Spark可以通過三種方式配置系統: 通過SparkConf對象, 或者Java系統屬性配置Spark的應用參數通過每個節點上的conf/spark-env.sh腳本爲每臺機器配置環境變量通過log4j.properties配置日誌屬性
2020-02-21 03:46:50
原创 python知識小結
1.當axis=0時，是把函數作用到每一列上，實質是列 當axis=1時，是把函數作用到每一行上，實質是行 2. 以u或U開頭的字符串表示unicode字符串 Unicode是書寫國際文本的標準方法。如果你想要用非英語寫文本,那麼你需要
2020-02-21 03:46:50
1
原创 Spark 官方文檔（3）——Standalone 模式
Spark版本：1.6.2 Spark除了支持Mesos和Yarn集羣管理，還提供了一種standalone簡單的部署模式。你可以手動啓動一個master和多個worker構建standalone集羣或者通過Spark官方腳本（後
2020-02-21 03:46:50
原创 spark關聯源碼及遠程調試設置
一。spark 關聯源碼 1.程序導入spark-assembly-1.6.1-hadoop2.6.0-cdh5.6.0 jar包後， 進入找到org-apache-spark,隨便找到一個子類點開， 右上角attach sources
2020-02-21 03:46:50
原创 hive 加載數據跳過行首和行尾
有時候用hive讀取外表數據時，比如csv這種類型的，需要跳過行首或者行尾一些和數據無關的或者自動生成的多餘信息，這裏可以用屬性設置來實現，快速mark下，建表的時候設置如下 Create external table testtab
2020-02-21 03:46:50
原创 通過expect scp 命令分發文件到其它機器
1. expect是基於tcl演變而來的，所以很多語法和tcl類似，基本的語法如下所示： 1.1 首行加上/usr/bin/expect1.2 spawn: 後面加上需要執行的shell命令，比如說spawn sudo touch t
2020-02-21 03:46:50
原创 使用Intellij idea調試Spark源碼
前提 本文假設開發環境是在Linux平臺，並且已經安裝下列軟件，我個人使用的是arch linux。 jdk scala sbt intellij-idea-community-edition安裝scala插件 爲idea安裝sca
2020-02-21 03:46:50
1
原创 SVM原理以及Tensorflow 實現SVM分類(附代碼)
SVM原理以及Tensorflow 實現SVM分類(附代碼)轉：http://www.cnblogs.com/vipyoumay/p/7560061.html1.1. SVM介紹SVM（Support Vector Machines）——
2018-08-25 17:45:11
11
原创 Boosting（Adboost、GBDT、Xgboost）
轉載：https://www.cnblogs.com/willnote/p/6801496.html前言本文爲學習boosting時整理的筆記，全文主要包括以下幾個部分：對集成學習進行了簡要的說明給出了一個Adboost的具體實例對Adb
2018-08-25 17:44:59
1
原创 GBDT 原理
轉載:https://www.cnblogs.com/ModifyRong/p/7744987.html首先gbdt 是通過採用加法模型（即基函數的線性組合），以及不斷減小訓練過程產生的殘差來達到將數據分類或者回歸的算法。 gbdt的訓練
2018-08-25 17:44:50