原创 繼生意參謀Transit-id之後,唯品會檔期列表也採取了請求頭攜帶密鑰:compassS,現公佈破解方法

今天同事告訴我唯品會的數據無法抓取,我過去看了一下異常,刷新了前臺頁面,請求頭多出了 compassS:1552899546142_2ec20607958c7df431071a68ed206dd6 這是個什麼鬼,直接將前半部分15528

原创 4步完成生意參謀無限品牌數據獲取

近期淘寶前臺及生意參謀連續更新對一些爬蟲程序的訪問限制,用心良苦。 1.訪問限制,在請求頭部添加了特定的鍵值,動態生成並加密,要加完全破解估計得把壓縮後的幾萬的代碼看完,全安係數可謂極高,估計做採集都會停在這一步。 2.數據Data加密,

原创 C#科學計數法、空格、- 轉化爲正常數值

1.字符串值中包含E等科學計數法,比如12E-2,需要進行轉化爲普通數值0.12,          private static Decimal ChangeDataToD(string strData)         {      

原创 生意參謀2019-01-22日之後指數該怎麼還原?

從去年10月份開始,生意參謀就開如新版上線,先是各項指標指數化,關注的品牌趨勢數據:訪客數、客單價、支付件數、交易金額等18項指標要麼是不在顯示要不就是指數化了。         當然要說最大的就是以前可以查到所有品牌數據,店鋪數據。如品

原创 生意參謀2019-01-29日之後圖片化該怎麼還原?

市場洞察-市場排行頁面將圖片化展示   2019年1月29日生效   親愛的商家們 爲了保障大家的數據安全我們一直在努力,努力維護數據市場的純淨度和安全度,但我們依然發現市場上存在大量非法獲取數據的行爲,對數據安全可能帶來不可預知的風險,

原创 在父頁面處理用戶控件的事件

I.直接添加事件 方法: 在頁面的Page_Load事件裏寫如下代碼(UcEquipmentQuery1是用戶控件):    DropDownList ddl=(DropDownList)UcEquipmentQuery1.Fin

原创 CTS 源碼分析(一)--CTS概況

CTS 源碼分析(一)  --CTS概況    1、什麼是CTS?       Compatibility Test Suite 兼容性測試套件 說白了,就是一套工具。一套軟件組成的測試工具。 2、哪裏有這套工具?         

原创 網絡數據庫SQL模擬試題

網絡數據庫SQL模擬試題選擇題:(20分)1、根據關係數據基於的數據模型——關係模型的特徵判斷下列正確的一項:(___)A、只存在一對多的實體關係,以圖形方式來表示。B、以二維表格結構來保存數據,在關係表中不允許有重複行存在。C、能體現一

原创 如何進入和退出 PuTTY 全屏模式

在 PuTTY 窗口的標題欄點擊鼠標右鍵,可以選擇 “Full Screen” ,進入全屏模式,感覺好極了,真是妙不可言。 那麼如何退出全屏模式呢?方法也很簡單,鼠標移到屏幕左上角,點擊左鍵,彈出菜單,選擇“還原”或者“Full Sc

原创 C#網頁解析獲得HTML中JS變量,一個是瀏覽器交互(EvaluateScriptAsync),一個是HtmlAgilityPack解析

//獲得天氣預報獲得observe24h_data變量 //與下面方法結果相同,HtmlAgilityPack解析。 var task1 = control.Brow