原创 Python之Selenium無頭瀏覽器爬蟲

.Selenium(瀏覽器自動化測試框架) 是一個用於Web應用程序測試的工具。Selenium測試直接運行在瀏覽器中,就像真正的用戶在操作一樣。框架底層使用JavaScript模擬真實用戶對瀏覽器進行操作。 Python需安裝selen

原创 spark開發環境安裝配置

一、java安裝 官網:jdk下載官網 jdk安裝,我的自定義的路徑是 D:\Spark\Java\jdk jre路徑自定義:D:\Spark\Java\jre 配置環境變量 JAVA_HOME = D:\Spark\Java\jd

原创 python實現Bert文本分類

. # coding=utf-8 # Copyright 2018 The Google AI Language Team Authors. # # Licensed under the Apache License, Version

原创 linux+anaconda 安裝

配置路徑: bash File/Client_Pakage/Anaconda3-4.3.1-Linux-x86_64.sh  # bash命令安裝anaconda pwd  #查看當前完整路徑 vim ~/.bashrc (或者sudo

原创 jupyter notebook 設置及常用快捷鍵

設置文件保存的默認文件夾: 打開Anaconda Prompt 輸入 jupyter notebook --generate-config 然後會顯示配置文件的路徑,根據路徑找到文件並編輯,查找 #c.NotebookApp.notebo

原创 Hive命令

基礎命令 show databases; # 查看某個數據庫 use 數據庫; # 進入某個數據庫 show tables; # 展示所有表 desc 表名; # 顯示錶結構 show partit

原创 python-用Tensorflow構建卷積神經網絡圖像分類

 環境:python3.6版本 + TensorFlow 1.6版本 import os from PIL import Image import numpy as np import tensorflow as tf data_d

原创 python打斷外層for循環

for i in range(10): print("i = {0}".format(i)) for j in range(10): print("j = {0}".format(j))

原创 VM虛擬機開機黑屏處理方法

在宿主機以管理員身份打開命令管理器, 輸入 netsh winsock reset  然後重啓就行 點贊 收藏 分享 文章舉報 NLP的菜雞平 發佈了98 篇原創文章 · 獲贊

原创 TensorFlow使用GPU環境搭建

一開始我只裝了tensorflow,沒有裝tensorflow-gpu,先pip install 安裝一下tensorflow-gpu pip install tensorflow-gpu==1.15.0 -i https://pypi.

原创 NLP常用算法及應用領域

1. 詞法分析(分詞、詞性、實體): – 算法:基於Bi-LSTM-CRF算法體系,以及豐富的多領域詞表 – 應用:優酷、YunOS、螞蟻金服、推薦算法、資訊搜索等 2. 句法分析(依存句法分析、成分句法分析): – 算法:Shift-r

原创 Python基於word2vec的詞語相似度計算

 詞語相似度計算 在商品搜索的過程中,可以計算用戶輸入的關鍵字與數據庫中商品名間的相似度,在商品數據庫中找出相似度最大的商品,推薦給用戶。比如“凳子”跟“椅子”的語意更相近,跟“香蕉”或“冰箱”的語意相對較遠,這種相近的程度就是詞語的相似

原创 Python之TensorFlow實現seq2seq自動文摘

簡介 這篇文章中我們將基於Tensorflow的Seq2Seq+Attention模型,介紹如何訓練一箇中文的自動生成新聞標題的模型。自動總結(Automatic Summarization)類型的模型一直是研究熱點。 直接抽出重要的句子

原创 獲取網頁某個元素座標的方法

用python的selenium寫爬蟲通過絕對座標點擊,座標的獲取方法(谷歌瀏覽器): 網頁F12打開源代碼,在console窗口輸入 document.querySelectorAll('css選擇器')[0].getBoundingC