原创 大數據中的壓縮
原文鏈接：https://my.oschina.net/u/4005872/blog/3030869 一、使用壓縮的優缺點 優點 減少磁盤存儲時間 降低網絡IO以及磁盤IO 加快數據在
2019-08-28 15:26:27
原创 java之Object類
Object類是java中所有類的根父類，java中類都直接或間接的繼承Object類。 Object類中的方法 方法名 功能 clone() 對象克隆，很少使用 equals() 判斷兩個類的內容是否相等
2019-04-19 15:18:22
1
原创 爬取鏈家租房信息
通過觀察 發現url爲 https://nb.lianjia.com/zufang/pg{}/ 其中{}中爲頁碼 即1,、2、3、4… 一共有100頁，所一設置一個循環來產生這些url for x in range(1, 1
2019-04-06 16:54:59
原创 java程序實現對HDFS的操作之新建文件夾
獲取所有依賴的jar包，在hadoop-2.7.3/share/hadoop/common/以及hadoop-2.7.3/share/hadoop/hdfs/ 權限問題–4種解決方法： 1、設置環境變量 HADOOP_USER_
2019-03-16 15:15:51
4
原创 Hadoop--環境搭建（主機模式、僞分佈模式、全分佈模式）
準備工作 環境配置 安裝linux RedHat 7.4，官網下載 關閉防火牆 systemctl stop firewalld services //關閉防火牆 systemctl disable firewalld ser
2019-03-14 14:48:50
原创 爬取趕集網二手房信息（詳細代碼）
基本沒有反爬，直接上代碼 import requests from lxml import etree import re import xlwt import time headers = { 'User-Agent':'M
2019-03-14 14:48:50
原创 python將日期轉變爲星期
一、需要用到datetime這個庫；代碼如下 from datetime import datetime week = datetime.strptime("2019-03-04","%Y-%m-%d").weekday() print
2019-03-06 19:45:58
1
原创 SQL注入
SQL注入 sql注入基礎 介紹sql注入 sql注入是指Web應用程序對用戶輸入數據的合法性沒有判斷，前端傳入後端的參數是攻擊者可控的，並且參數帶入數據庫查詢，攻擊者可以通過構造不同的SQL語句來實現對數據庫的任意操作。一般情況下，
2019-02-04 02:49:56
原创 sqlmap
#Sqlmap ##簡介 sqlmap是一個自動化的SQL注入工具，其主要功能是掃描，發現並利用給定的URL的SQL注入漏洞，目前支持的數據庫是MySQL, Oracle, PostgreSQL, Microsoft SQL Serv
2019-02-04 02:49:56
原创 爬取電影天堂電影詳情和磁力鏈接
import requests from lxml import etree headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleW
2018-12-29 05:36:59
原创 爬取豆瓣正在上映的影片信息
import requests from lxml import etree # 將目標網站上的頁面抓取下來 # headers -> url -> requests -> response # response.tex
2018-12-26 13:32:36
原创 python--requests庫
請求庫 雖然Python的標準庫中urllib模塊已經包含了平常我們使用的大多數功能，但是它的API使用起來讓人感覺不太好，而請求庫的宣傳是“HTTP for Humans”，說明使用更加簡潔方便。 安裝和文檔地址： 利用pip可以非常網
2018-12-26 13:32:36
原创 python兩個列表升序合併並且去除列表中重複元素的兩種方法
代碼如下 l1 = [1,2,7,12,4,9,5] l2 = [5,1,10,11,2] l3 = l1 + l2 l3.sort() # print(set(l3)) #去除重複元素方法一 l4 = []
2018-12-26 13:32:36
原创 百度搜索結果爬蟲
代碼如下 import requests from lxml import etree # 抓取整個頁面 words = input("輸入搜索內容：") headers = {'user-agent': 'Mozilla/5.0
2018-12-26 13:32:35
原创 模擬百度搜索
代碼如下 # @Date : 2018-12-14 23:13:34 # @Author : b1gx import requests words = input("輸入搜索內容") headers = {'user-a
2018-12-26 13:32:35