原创 scrapy的使用

scrapy的安裝使用 scrapy架構 爬蟲概念流程 scrapy項目開發流程 scrapy常用設置 scrapy的安裝使用scrapy的基本使用資料網站:https://scrapy-chs.readthedocs.io/zh_

原创 Python之字符串

字符串:比較常用的一種類型,通常也會結合正則表達式使用 字符串操作使用單引號、雙引號、三引號(支持換行): str1='hello world'str2="hello python"print(str1,'\t',str2,'\n'

原创 Python之集合

集合概念 集合操作 集合概念集合是一類具有相類似屬性的集合,一個包含不同元組的無序集(不支持排序操作),實現關係測試和剔除重複記錄,支持union並集、∩交集、差集difference、對稱差操作;特點:無序、元素唯一,不支持索引

原创 Python之字典

字典字典爲鍵值的形式,key=>value字典是另一種可變容器模型,無序,且可存儲任意類型對象,如字符串、數字、元組等其他容器模型。不可變類型:整型,字符串,元組 (可變類型:列表,字典):字典的鍵只能用不可變類型來創建 字典操作

原创 Python之元組

元組 元組和序列區別 元組tuple元組特點:屬於準序列類型,支持複雜數據類型,長度不限制,不可變類型(增刪修改元素,排序),支持切片操作,使用()包裹起來。 元組的創建 查看類型 a=tuple('hello')print(a

原创 python之序列

序列 字符串 列表 元組 簡單案例  常見的序列類型包括字符串、元組、列表,序列即有序的成員,一個元素有一個序號,可通過索引訪問。索引可以爲正負。 字符串 字符串操作使用單引號、雙引號、三引號(支持換行): str1='hel

原创 python順序選擇循環使用

格式化輸出 順序選擇循環結構 簡單使用 查看某個模塊、內置函數或者某個對象使用幫助help([module|object.ways]) 格式化輸出 將代碼按照指定格式輸出:%對字符串進行格式化,\用來做轉義 格式符:%c:顯示

原创 python基礎

編程語言 Python特點 應用領域 數據類型與運算 簡單使用 編程語言 編程語言的分類:根據運行方式(強類型與弱類型) 編譯運行:源代碼 --> 編譯器 (編譯)--> 程序文件; 解釋運行:源代碼 --> 運行時啓動解釋器,

原创 hadoop常用命令總結

hadoop常用命令 集羣節點服務啓停 hdfs文件系統管理 yarn資源集羣管理 hadoop啓動過程 集羣節點服務啓停如圖所示腳本所在路徑:主要分類類命令:管理hdfs和管理yarn資源服務啓動方式:分別啓動各節點服務、集羣腳

原创 Linux用戶權限管理

用戶管理基礎概念: 用戶管理命令使用 權限管理 命令使用 用戶管理基礎概念:用戶類別:管理員、普通用戶(系統用戶、登錄用戶)組類別:管理員組、普通用戶組(系統用戶組、登錄用戶組)組的類別還可以分爲: 1.用戶的基本組、用戶的附

原创 expect的使用

變量 參數變量 if條件語句 變量定義:set var value eg:set passwd "1234"打印expect腳本信息,可用send_user、puts用法類似shell中echo [root@xt expects]

原创 駕照科二科三訓練總結

駕照科二科三總結寶典---武漢藏龍島譚湖一路蘭劍駕校胡永紅校長學員:tong倒庫:12點對齊第三 第四跟虛線中點過肩線     (第三根線上)左後鏡下方與前方虛線內沿重合  馬上向右打死方向盤左後視鏡看到直角  回半圈方向盤車身與黃線平行再

原创 大數據之數學類知識基礎

數學相關的知識: 集合 函數極限,導數,微分,偏導數 向量 正弦餘弦定理 最小二乘法 矩陣,正交矩陣 集合:是指具有某種特定性質的事物的總體,組成集合的事物稱爲元素。 通常使用大寫表示集合,小寫表示元素;列舉法,描述法 列舉法:A

原创 決策樹--信息增益,信息增益比,Geni指數的理解

決策樹--信息增益,信息增益比,Geni指數的理解決策樹 是表示基於特徵對實例進行分類的樹形結構      從給定的訓練數據集中,依據特徵選擇的準則,遞歸的選擇最優劃分特徵,並根據此特徵將訓練數據進行分割,使得各子數據集有一個最好的分類的過

原创 Linux之三劍客

正則表達式 grep sed awk Linux中的文本處理工具,grep、sed、awk,也稱之爲三劍客,熟練的使用,對文本內容搜索、編輯等任務能夠提升效率。grep/egrep/fgrep:文本過濾工具;sed:流編輯器;awk: