原创 securtCRT連接Linux沒有輸入密碼登錄的界面
配置Linux (centos) 虛擬機的靜態ip後，使用securtCRT連接Linux時發現connect後無法顯示輸入密碼界面，並且cmd中也無法ping通centos的ip 192.168.***.***。自己摸索發
2020-06-01 01:18:04
原创 Java運算符及運算符優先級詳解：包括 i=i++的結果
一、算術運算符 符 描述 例子 + 加法 - 相加運算符兩側的值 A + B 等於 30 - 減法 - 左操作數減去右操作數 A – B 等於 -10 * 乘法 - 相乘操作符兩側的值 A * B等於200 / 除法 - 左操作數除以右操
2020-06-01 01:18:04
原创 8uftp連接linux並傳輸文件
一、要進行ftp連接，一般需要滿足兩點 1. Linux系統上安裝好FTP服務 2. 客戶端工具：此處選擇的是8uftp,安裝簡單 二、FTP服務的安裝配置 1. 先確定已關閉防火牆iptables 查詢狀態：service ipta
2020-06-01 01:17:54
原创 hive異常：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
在啓動hive時出現以下錯誤。 嘗試hive元數據庫初始化，執行 schematool -dbType mysql –initSchema， 又出現錯誤HiveSchemaTool:Parsing failed. 重新嘗試 schem
2020-06-01 01:17:54
原创 linux安裝python3及使用pip安裝第三方庫
1.下載Python3 可從windows下載後上傳Linux https://www.python.org/downloads/ 也可以直接在linux下載 wget https://www.pyt
2020-04-19 19:46:42
原创 pyspark中部分***ByKey的用法
準備工作 import pyspark from pyspark import SparkContext from pyspark import SparkConf conf=SparkConf().setAppName("lg").s
2020-02-23 06:33:39
7
原创 pyspark中RDD常用操作
準備工作： import pyspark from pyspark import SparkContext from pyspark import SparkConf conf=SparkConf().setAppName("lg")
2020-02-22 03:46:23
原创 Python爬蟲學習1：requests庫
1. Http常用請求類型OPTIONS: 返回服務器針對特定資源所支持的http請求方法。HEAD: 向服務器索要與get請求相一致的響應，只不過響應體將不會被返回。GET: 向特定資源發出請求PUT: 向指定資源位置上傳其最新內容PO
2020-02-20 23:52:45
原创 Python爬蟲學習5：使用cookie訪問網頁（以豆瓣爲例）
1. 先在瀏覽器上登錄豆瓣，登錄成功後打開開發者工具，可以查看到Cookie. 第一次登錄後，短時間內再次打開此頁面時，會發現系統已經保存了cookie, 不用再重新登錄。時間長了cookie會失效，需重新登錄.2. 實現
2020-02-20 23:52:45
原创 pandas 之 to_csv 保存數據出現中文亂碼問題及解決辦法
1. 使用scrapy框架爬取了一些汽車評價保存在csv文件中，但是直接打開時亂碼了。2. 使用pandas讀取再使用to_csv()方法重新保存import pandas as pd file_name = 'G:/myLearni
2020-02-20 23:52:44
6
原创 Python爬蟲學習6：scrapy入門（一）爬取汽車評論並保存到csv文件
一、scrapy 安裝：可直接使用Anaconda Navigator安裝， 也可使用pip install scrapy安裝二、創建scrapy 爬蟲項目：語句格式爲 scrapy startproject project_name生成
2020-02-20 23:52:44
原创 Python爬蟲學習4：requests.post模擬登錄豆瓣（包括獲取驗證碼）
1. 在豆瓣登錄網頁嘗試登錄後打開開發者工具，可以查找後去Headers和Form Data信息。2. 實現代碼import requests import html5lib import re from bs4 import Beau
2020-02-20 23:52:44
1
原创 Python爬蟲學習2：Beautifulsoup的使用
Beautiful Soup提供一些簡單的、python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱，通過解析文檔爲用戶提供需要抓取的數據，因爲簡單，所以不需要多少代碼就可以寫出一個完整的應用程序。Beautiful So
2020-02-20 23:52:44
原创 Python 多進程multiprocessing模塊, Process, 進程池Pool和Queue
1. multiprocessing模塊提供了一個Process類來代表一個進程對象： （1） multiprocessing.Process(group=None, target=None, name=None, args=(),
2020-02-20 23:52:33
2
原创 七月在線筆面試題解析1：python3函數中參數可變的理解
1. 如果傳入的參數是不可變類型，則函數中對其進行更改時不影響函數外部該變量的值def test(a): a += 1 return a a = 10 b = test(a) print(a) print(b) 10
2020-02-20 23:52:33