原创 python爬蟲:爬取豆瓣網電影信息

豆瓣網: 代碼如下: import requests import urllib.request if __name__ == "__main__": #指定ajax-get請求的url(通過抓包進行獲取) url

原创 如何撈取ERP中報表的sql

1、打開ERP對應的作業名稱 2、點擊右鍵查看程序信息 3、打開S-CRT連接到對應的服務器 (1)選擇區 (2)cd  cxm/4gl (3)r.dg axmr004   4、查找報表子程序 5、 定位到子程序並打斷點運行

原创 sql server如指定字段排序

方法一:利用order by+case when select year,country,product,profit from sales order by year,case when country='CHIAN' then 1

原创 python中兩種反爬機制

第一種  robots協議   1、什麼是robots協議?           一個純文本、協定了什麼數據可以爬和不可以爬 總結:防君子不防小人 查看方法:打開瀏覽器輸入:www.baidu.com/robots.txt 2、requ

原创 PyCharm使用指南

本文將介紹:   PyCharm 安裝 在 PyCharm 中寫代碼 在 PyCharm 中運行代碼 在 PyCharm 中進行代碼 debug 和測試 在 PyCharm 中編輯已有項目 在 PyCharm 中搜索和導航 在 PyCha

原创 python爬蟲:在搜狗通過關鍵字獲取網頁資源

代碼如下: import requests # 指定url url = 'https://www.sogou.com/web' # 輸入搜索關鍵字 keyword =input('enter a key word:') # UA僞裝

原创 Anconda中jupter常用的快捷鍵

jupter中的每一小格爲一個cell,快捷鍵如下: 插入: 上:a 下:b 刪除:x 撤銷:z 執行:shift+enter 新建cell:alt+enter 切換模式:m,y 執行結果回收:在執行結果左側雙擊即可 打開幫助

原创 理解數據中臺的三種境界

01 理解數據中臺的三重境界   第一重境界:數據平臺化   數據中臺是要打破重複造輪子的過程,不再每個團隊搭建一套Hadoop、Spark這樣的大數據組件;而是,從全公司的角度,整合這些工具,所有團隊使用公司級別統一提供的大數據平臺、開

原创 決策報表調用單元格數據做圖表分類顯示不全怎麼辦

  在做決策報表的時候回有用到單元格數據,調用單元格數據作爲分類,但結果只是顯示其中的幾個名稱,未將所有的分類呈現出來,因此我在找問題的原因。 頁面設置爲特定大小,本來有十個數據分類,結果只顯示了四個,解決方法: 調整文本的角度即可有

原创 TCP 重傳、滑動窗口、流量控制、擁塞控制圖文詳解

正文 相信大家都知道 TCP 是一個可靠傳輸的協議,那如何它是如何保證可靠的呢? 爲了實現可靠性傳輸,需要考慮很多事情,例如數據的破壞、丟包、重複以及分片順序混亂等問題。如不能解決這些問題,也就無從談起可靠傳輸。 那麼,TCP 是通過序列

原创 帆軟設置參數之後,選擇一個參數另一個參數被清空如何解決

參數設置示例:     如上圖所示設置參數之後,設定參數字典,在模板設置兩個參數訂單單號和訂單日期之後,每次選擇訂單單號或訂單日期之後,另一個條件就會改變。  原因:每次數據集篩選數據會改變曬選條件。 解決方法:將參數部分刪除,新建一個

原创 python進階的幾個必備技能

1、函數式編程 命令式的編程風格已經成爲事實上的標準。命令式編程的程序是由一些描述狀態轉變的語句組成。雖然有時候這種編程方式十分的有效,但有時也不盡如此(比如複雜性) —— 而且,相對於聲明式編程方式,它可能會顯得不是很直觀。   如果你

原创 如何優化你的python代碼

曾經講過計算斐波那契數列的幾種方法,其中基於遞歸的方法是速度最慢的,例如計算第40項的值,需要36秒。如下圖所示: 要提高運算速度,根本辦法當然是改進算法。不過算法的提高是一個長期積累加上靈機一動的過程。我們今天要講的,是一個不費腦筋,

原创 數據清洗常用的2個小技巧

Pandas 巧用 str.split 和 str.cat 因爲以上兩個方法,直接按列操作,所以省掉一層 for 循環,下面直接看例子。 df = pd.DataFrame({'names':["Geordi La Forge", "D

原创 Oracle數據庫維護必須掌握的17條Linux命令

1. 按oracleSID來查詢連接數據庫的客戶端IP netstat -anpT | grep oracleSID | awk '{print $5}' | grep -o -E  '1.*:' | awk -F ':' '{prin