原创 【Selenium補丁】進一步防止 Selenium 被檢測——如何防止瀏覽器用新標籤頁打開鏈接？
進一步防止 Selenium 被檢測——如何防止瀏覽器用新標籤頁打開鏈接？ 攝影：產品經理 產品經理揹着我吃日料 在文章：（最新版）如何正確移除Selenium中的 window.navigator.webdri
2020-04-29 09:42:25
原创 【Python】getattr和setattr的源碼分析及使用
前言 鄙人有次在使用SQLALchemy的時候，對查詢出來的對象，進行獲取/重新賦值產生了點小問題 下面來一起看看這個小問題： from sqlalchemy.orm import sessionmaker from sqlalc
2020-04-28 13:01:59
1
原创 【Python】SQLAlchemy長時間未請求，數據庫連接斷開的原因、解決方案
這個問題好像和長時間連接數據庫但不打開網頁時，報錯lost connection是一個原因 問題： 寫了一個基於apscheduler的定時任務，裏面的任務使用了sqlalchemy，大致如下： scheduler.py #
2020-04-27 12:32:05
原创 【java】一個由session.close()引發的血案
最近接手了個新項目, 項目一直存在使用已關閉的連接 異常問題. 上圖: 項目環境: 1.使用的是 mybatis-3.2.6.jar orm框架 2.使用mybatis 默認提供的 pooled 連接池 配置 詳見:http:
2020-04-27 12:32:05
原创 【Python】SQLAlchemy：session何時commit，何時close？
SQLAlchemy：session何時commit，何時close？ 參考閱讀：SQLAlchemy - 官方文檔 官方文檔說明了關於什麼是session，以及如何創建session、如何使用session、如何關閉sessio
2020-04-27 12:32:05
16
原创 【SQLAlchemy】MySQL server has gone away 原因分析、解決方法
SQLAlchemy報錯：MySQL server has gone away 錯誤日誌 2020-01-03 20:00:00,072 - update_example_table.py - get_pcodes_arr_by
2020-04-27 12:32:05
58
原创 【SQLALchemy】常用的SQLalchemy 字段類型
常用的SQLAlchemy字段類型 類型名 Python中類型 說明 Integer int 普通整數，一般是32位 SmallInteger int 取值範圍小的整數，一般是16位 BigInteger i
2020-04-27 12:31:54
原创 【最全】JS獲取瀏覽器屬性信息
前言 當一個爬蟲工程師遇到逆向的時候，如果你使用的 selenuim 或者 pyppeteer 的時候，你是否考慮過，對瀏覽器的特徵進行檢查，這樣你才能過得了設防。 總之，個人覺得還不錯，這些屬性值檢查還挺全的，所以就收藏起來了，
2020-03-18 08:37:54
原创 (2020最新版)如何正確移除 Pyppeteer 中的 window.navigator.webdriver
在《在Pyppeteer中正確隱藏window.navigator.webdriver 》一文中，我們介紹了修改源代碼使Pyppeteer打開的 Chrome隱藏window.navigator.webdriver的方法。 然而時
2020-03-08 12:40:18
1
原创 建議收藏-使用pytorch時遇到的問題彙總
報錯TypeError: unhashable type: 'numpy.ndarray' 原因：在將pytorch的longTensor轉爲numpy，並用於dict的key的時候，會出現這樣的錯誤。其實程序輸出已經是int
2020-03-06 13:19:05
3
原创 (2020全網首發)爬蟲工程師正確移除Selenium中的 window.navigator.webdriver
在《一日一技：如何正確移除Selenium中window.navigator.webdriver的值》一文中，我們介紹了在當時能夠正確從Selenium啓動的Chrome瀏覽器中移除window.navigator.webdriv
2020-03-06 13:19:05
2
原创 cuda相關安裝(歷史版本、對應驅動版本)
各個歷史版本 cuda toolkit 下載鏈接 發現cuda toolkit 8.0 _windows_7_locoal 版本的 無法下載， 但是筆記本目前是win7系統， 找了之前的7.5版本了，爲了便於今後更快捷，保存下
2020-02-29 10:17:22
原创 前端邊距-反爬遇到的前端知識必知
css字體顏色，下面是對p標籤使用： <style type="text/css"> /*p標籤樣式*/ p { text-align: center; /*居中*/ padding
2020-02-29 10:17:22
原创 【最便捷方法】pandas-處理缺失值
前言 最近看到一些教程關於“pandas讀取數據之後，如何處理缺失值或者如何替換指定值爲另外一個值” 看了那些教程，然後進行了一會實操，發現不能滿足我的需求，於是開始探索另外的解決辦法 下面來看一下解決方案 0x01、不設置默
2020-02-29 10:17:22
原创 Scrapy少寫yield坑
當你重寫start_requests方法的時候，使用scrapy.Request(xxx)後記得前面一定要加上yield，不然報錯說是NoneType不是一個可迭代對象 1.報錯信息: Traceback (most recent
2020-02-28 06:02:45