原创 hive常用內部函數

hive常用內部函數 hive是一種典型的數據倉庫分析工具,常用語編寫hql語句進行指標分析。在編寫hql的過程中無疑會用到很多的函數,哪本章來編寫一些常見的函數。常見函數很多,不同常見不同人員,使用不一樣,不喜勿噴。 1、隨機

原创 windows中安裝request

十九、windows中安裝request 在window中安裝request包 方案1:(需要一個一個的下載依賴的包安裝,麻煩) python下的包下載:http://www.lfd.uci.edu/~gohlke/pythonlibs/

原创 python xpath介紹和新聞內容爬蟲

二十、python xpath介紹和新聞內容爬蟲 Xpath介紹 用xpath提取感興趣的內容 一個網頁文檔是一個半結構化的數據,其實html文檔就是一個樹形結構。根節點是html 用正則表達式也可以提取,但是不如xpath方便   1、

原创 python 迭代器和生成器及例子

十一、python 迭代器和生成器及例子 迭代器 可迭代對象:iterable 如果一個對象可以用for...in...的方式遍歷其內容,這個對象就是一個可迭代的對象。   迭代器:itertor 遍歷可迭代對象內容的方式   可迭代對象

原创 python 函數、函數式編程、變量作用域、函數__doc__屬性

九、python 函數、函數式編程、變量作用域、函數__doc__屬性 函數 定義函數:def func(x,y,z=v,*args,**kwargs)   參數 參數沒有類型,python不做類型檢測 不支持重載,python不會區分參

原创 python 爬蟲介紹

十八、爬蟲介紹 爬蟲介紹: 項目前幾乎搜索引擎都有爬蟲,蜘蛛 公司沒有數據可以通過爬蟲獲取 公司有競爭對手,可以通過爬競爭對手的網站,瞭解他們的動向 數據學習的必備技巧   爬蟲網站: 中國新聞網:(結構簡單,適用於練手) http://

原创 python 公有屬性和私有屬性

十三、python 公有屬性和私有屬性 屬性: 方法: class Chinese(Person): nation = 'China' def __init__(self,name): self.__name = name def m

原创 python 嵌套函數、閉包裝飾器、裝飾器例子

十、python 嵌套函數、閉包裝飾器、裝飾器例子 python的函數可以嵌套定義 閉包:能夠保留函數定義時的環境信息 嵌套函數的定義: 內部函數用到咯外部函數中的變量 外部函數返回內部函數 def outer(): def inner(

原创 python 訪問屬性和屬性裝飾器

十四、python 訪問屬性和屬性裝飾器 訪問屬性: 1、直接訪問(上一講得直接操作) 2、通過自定義get() 、 set()方法來訪問 3、通過屬性裝飾器 @property  讀 @***.setter  寫 @***.delete

原创 python mysql-connector的安裝和使用

二十二、python mysql-connector的安裝和使用 Python和sql整合 安裝mysql: 安裝navcate-for-mysql可視化操作工具:   開發包: mysql-connector: http://dev.m

原创 python 方法、實例方法、靜態方法、類方法

十五、python 方法、實例方法、靜態方法、類方法 方法 1、實例方法 第一個參數是self,綁定到實例 2、類方法 @classmethod 第一個參數是cls,綁定到類 3、靜態方法 @staticmethod 和普通函數一樣,無綁

原创 python 繼承多重繼承

十七、python 繼承多重繼承 繼承 1、根據已有的類生產新的類 繼承的目的:代碼重用;多態 2、多重繼承 菱形繼承的問題 經典類:深度優先 新式類:廣度優先 Inspect.getmro(class)   -------------

原创 python的函數、類、異常

五、python的函數、類、異常 函數: 定義函數:def fun(para1,para2,...),圓括號不能少。 函數可以有多個返回值,通常被封裝成元組返回。你不封裝會自動封裝 函數也是對象,可以做參數傳遞和返回 思考方法的重載和

原创 linux expect 案例

1、linux expect命令,它類似於shell、window中的cmd。本身就是命令 2、如果沒有需要安裝 yum info expect yum -y install expect 如果不行使用源碼安裝吧 3、man expect

原创 python 操作mongodb

二十七、python 操作mongodb 插入: 1、-Insert_one(doc) 2、-Insert_many(doc,ordered=True/False)  True是一個文檔一個文檔插入,False就可以並行插入,一個文檔插入