原创 python基礎

列表 標誌 基本操作(創建,append( ),pop( ) ,del( ), 拷貝) 列表相關方法 元組 標誌 基本操作(創建及不可變性) string字符串 定義及基本操作(+,*,讀取方式) 字符串相關方法 字符串格式化問題

原创 任務2 - 邏輯迴歸算法梳理

邏輯迴歸與線性迴歸的聯繫與區別 聯繫:兩種都可以歸於同一個家族,即廣義線性模型。這個家族中的模型形式基本上都差不多,不過的是因變量不同,如果是連續的就是多重線性迴歸,如果是二項分佈就是logistic迴歸。 區別: (1)線性迴歸用來

原创 python基礎

python基礎. 環境搭建a) anaconda環境配置b) 解釋器. python初體驗a) print and input. python基礎講解a) python變量特性+命名規則b) 註釋方法c) python中“:”作用d

原创 線性迴歸算法梳理

線性迴歸算法梳理機器學習的一些概念有監督學習無監督學習泛化能力過擬合交叉驗證線性迴歸的原理以下分別是一元和二元變量的線性迴歸實例圖:線性迴歸損失函數、代價函數、目標函數優化方法(梯度下降法、牛頓法、擬牛頓法等)梯度下降法牛頓法擬牛頓法

原创 oracle中去掉文本中的換行符、回車符、製表符小結

oracle中去掉文本中的換行符、回車符、製表符小結 一、特殊符號ascii定義 製表符 chr(9) 換行符 chr(10) 回車符 chr(13) 二、嵌套使用repalce,注意每次只能提交一個符號,如先回車再換行        

原创 spark-sql 關聯問題

spark-sql 使用不等關聯不出數據,的解決辦法 2017-10-20 計劃 spark-sql 取出join後另外一個字段匹配不上的記錄 select * from ap1 a join ap2 b on a.id=b.id a

原创 hive的數據傾斜問題

背景 在做Shuffle階段的優化過程中,遇到 了數據傾斜的問題,造成了對一些情況下優化效果不明顯。主要是因爲在Job完成後的所得到的Counters是整個Job的總和,優化是基於這些 Counters得出的平均值,而由於數據傾斜的原

原创 hbase集羣搭建 配置文件修改

1、說明 2、hbase集羣搭建 修改文件 修改$HBASE_HOME/conf/hbase-env.sh文件  export JAVA_HOME=/usr/local/jdk export HBASE_MANAGES_ZK=tru

原创 shell腳本導入用戶的環境變量

由於之前一直受到環境變量導入的影響,找了很多資料也沒詳細說明,一下貼出本人解決方法,希望能起到幫助 在使用環境變量在加入以下代碼: . /etc/profile . ~/.bash_profile

原创 maven學習地址

1、Maven官方網站 http://maven.apache.org/2、Maven中文教程 http://www.yiibai.com/maven/

原创 linux 文件亂碼問題

最近從oracle導出文本數據出現亂碼問題: 原因:linux默認的文件編碼是 latin-1,如果你導出的文件是utf-8,gbk等其他字符的話,就會出現亂碼問題 解決辦法如下: 1a.在Vim中可以直接查看文件編碼:set filee

原创 數據結構推薦播客

數據結構學習筆記(轉載) http://www.cnitblog.com/weitom1982/archive/2006/03/30/8298.aspx 數據結構學習方法 http://bb.hitwh.edu.cn/jpkc/sjj

原创 linux學習地址

Linux Shell編程入門 Shell教程 http://bbs.chinaunix.net/tree/index_485_1/

原创 oracle 去重幾個方法

幾個刪除重複記錄的SQL語句   1.用rowid方法   2.用group by方法   3.用distinct方法   1。用rowid方法   據據oracle帶的rowid屬性,進行判斷,是否存在重複,語句如下:

原创 win 打開方式被修改,改回默認方法

1、將下面的內容寫入txt中,重命名爲reg Windows Registry Editor Version 5.00       [-HKEY_CURRENT_USER\Software\Microsoft\Windows\Curren