原创 hive常用內部函數
hive常用內部函數 hive是一種典型的數據倉庫分析工具,常用語編寫hql語句進行指標分析。在編寫hql的過程中無疑會用到很多的函數,哪本章來編寫一些常見的函數。常見函數很多,不同常見不同人員,使用不一樣,不喜勿噴。 1、隨機
原创 windows中安裝request
十九、windows中安裝request 在window中安裝request包 方案1:(需要一個一個的下載依賴的包安裝,麻煩) python下的包下載:http://www.lfd.uci.edu/~gohlke/pythonlibs/
原创 python xpath介紹和新聞內容爬蟲
二十、python xpath介紹和新聞內容爬蟲 Xpath介紹 用xpath提取感興趣的內容 一個網頁文檔是一個半結構化的數據,其實html文檔就是一個樹形結構。根節點是html 用正則表達式也可以提取,但是不如xpath方便 1、
原创 python 迭代器和生成器及例子
十一、python 迭代器和生成器及例子 迭代器 可迭代對象:iterable 如果一個對象可以用for...in...的方式遍歷其內容,這個對象就是一個可迭代的對象。 迭代器:itertor 遍歷可迭代對象內容的方式 可迭代對象
原创 python 函數、函數式編程、變量作用域、函數__doc__屬性
九、python 函數、函數式編程、變量作用域、函數__doc__屬性 函數 定義函數:def func(x,y,z=v,*args,**kwargs) 參數 參數沒有類型,python不做類型檢測 不支持重載,python不會區分參
原创 python 爬蟲介紹
十八、爬蟲介紹 爬蟲介紹: 項目前幾乎搜索引擎都有爬蟲,蜘蛛 公司沒有數據可以通過爬蟲獲取 公司有競爭對手,可以通過爬競爭對手的網站,瞭解他們的動向 數據學習的必備技巧 爬蟲網站: 中國新聞網:(結構簡單,適用於練手) http://
原创 python 公有屬性和私有屬性
十三、python 公有屬性和私有屬性 屬性: 方法: class Chinese(Person): nation = 'China' def __init__(self,name): self.__name = name def m
原创 python 嵌套函數、閉包裝飾器、裝飾器例子
十、python 嵌套函數、閉包裝飾器、裝飾器例子 python的函數可以嵌套定義 閉包:能夠保留函數定義時的環境信息 嵌套函數的定義: 內部函數用到咯外部函數中的變量 外部函數返回內部函數 def outer(): def inner(
原创 python 訪問屬性和屬性裝飾器
十四、python 訪問屬性和屬性裝飾器 訪問屬性: 1、直接訪問(上一講得直接操作) 2、通過自定義get() 、 set()方法來訪問 3、通過屬性裝飾器 @property 讀 @***.setter 寫 @***.delete
原创 python mysql-connector的安裝和使用
二十二、python mysql-connector的安裝和使用 Python和sql整合 安裝mysql: 安裝navcate-for-mysql可視化操作工具: 開發包: mysql-connector: http://dev.m
原创 python 方法、實例方法、靜態方法、類方法
十五、python 方法、實例方法、靜態方法、類方法 方法 1、實例方法 第一個參數是self,綁定到實例 2、類方法 @classmethod 第一個參數是cls,綁定到類 3、靜態方法 @staticmethod 和普通函數一樣,無綁
原创 python 繼承多重繼承
十七、python 繼承多重繼承 繼承 1、根據已有的類生產新的類 繼承的目的:代碼重用;多態 2、多重繼承 菱形繼承的問題 經典類:深度優先 新式類:廣度優先 Inspect.getmro(class) -------------
原创 python的函數、類、異常
五、python的函數、類、異常 函數: 定義函數:def fun(para1,para2,...),圓括號不能少。 函數可以有多個返回值,通常被封裝成元組返回。你不封裝會自動封裝 函數也是對象,可以做參數傳遞和返回 思考方法的重載和
原创 linux expect 案例
1、linux expect命令,它類似於shell、window中的cmd。本身就是命令 2、如果沒有需要安裝 yum info expect yum -y install expect 如果不行使用源碼安裝吧 3、man expect
原创 python 操作mongodb
二十七、python 操作mongodb 插入: 1、-Insert_one(doc) 2、-Insert_many(doc,ordered=True/False) True是一個文檔一個文檔插入,False就可以並行插入,一個文檔插入