原创 Python--(函數)
一.函數是組織好的,可重複使用的,用來實現單一,或相關聯功能的代碼高度複用 低頻率耦合的代碼段二.語法:def 函數名(參數列表): 函數體 return xxx可以返回多個值,返回的多個值組成一個元組,返回值加上一個中括號
2020-02-25 01:27:28
原创 MySQL數據庫04(高級查詢)
(注:數據均爲自己隨意調節添加!!!) 一、EXISTS子查詢1.用SQL語句檢測temp表是否已經創建語法:DROP TABLE IF EXISTS temp;CREATE TABLE temp( ...#省略建表語句 )2.EXIST
2020-02-25 01:27:28
原创 爬蟲(cookie,代理IP)
1.先登錄得到url 和cookie import urllib.request url="https:***" headers={ "Host ":"blog.csdn.net" , "Conne
2018-09-09 22:21:01
原创 Python 爬蟲 (翻頁爬取,騰訊社招網)
1.創建項目tencentSpider scrapy startproject tencentSpider 2.進入項目下創建爬蟲 scrapy genspider -t crawl tencent hr.tencent.com 3
2018-09-06 00:03:00
原创 Python爬蟲(概念基礎01)
爬蟲怎麼抓取網頁數據: 網頁的三大特徵 網也有自己唯一的URL(統一資源定位符)來進行定位 網頁都使用HTML(超文本標記語言)來描述頁面信息 網頁都使用HTTP/HTTPS(超文本傳輸協議)協議來傳輸HTML數據 爬蟲的設計思路 首先確
2018-09-04 05:38:13
原创 Django小項目--理財產品信息管理系統
一、具體要求 建立數據表FinancingProduct,創建主鍵,添加測試數據(至少4條) 使用Django命令創建web項目FinancingProductSys,生成相應的項目文件目錄 3.在mode
2018-09-04 05:38:13
2
原创 Python爬蟲02(urllib自帶模塊編寫)
Python 3.x版本後的urllib和urllib2 現在的Python已經出到了3.5.2 在Python 3以後的版本中，urllib2這個模塊已經不單獨存在（也就是說當你import urllib2時，系統提示你沒這個模塊），u
2018-09-04 05:38:13
原创 Django--模板語言
一.變量 變量看起來就像這樣{{variable}} 當模板引擎遇到一個變量,它將從上下文context中獲取這個變量的值,然後用值替換掉它本身 變量的命名包括任何字母數字以及下劃線('_')的組合.點('.')也有可能會在變量名中出現,
2018-09-04 05:38:13
原创 Django 02 項目內容的編輯
一、創建一個新的模塊1.在新的模塊中添加新的models.py,用來在數據庫創建新的表來記錄博客的基本信息#usr/bin/python #-*-coding:utf-8-*- from django.db import models
2018-09-04 05:38:12
原创 Django 02 項目內容的編輯02
1.將富文本添加到saveblog.html中打開b.html頁面,將方框內的代碼寫入saveblog.html中,同時textarea起id爲myEditorsaveblog.html其他代碼不變運行瀏覽器效果爲2.自定義富文本 Dja
2018-09-04 05:38:12
原创 Hive SQL(分區和分桶)
1.HIVE 分區表 在 hive select 查詢中一般會掃描整個內容,消耗很多時間組沒必要的工作.有時候只需要掃描表中的一部分關心的數據,因此建表時引入了partition 概念. 分區表指的是在創建表時指定的partition的分
2018-09-04 05:38:12
原创 SPARK CORE(python編程)
一、SPARK CORE的使用 1.在JUPYTER網頁上創建新的ipynb文件 2.環境準備代碼 import os import sys spark_home = os.environ.get('SPARK_HOME',None
2018-09-04 05:38:12
原创 Python--大數據
一、虛擬機 1.安裝完成之後,進入虛擬機,進行編輯虛擬機配置 2.登錄系統管理員,輸入密碼時是不會顯示的,直接輸完按回車進入 對虛擬機的IP進行修改 獲取虛擬機的ip[centos7版本下可以使用ip a;低版本需使用ifconfig
2018-09-04 05:38:12
原创 Hive
什麼是HIVE 1.數據倉庫解決方案建立在Hadoop之上 2.提供了sql查詢語言命名蜂巢HQL查詢語言,最小的學習曲線 3.HIVE早期開發工作從2007年開始在Facebook 4.HIVE使越來越多的人開始使用 5.HIVE是一個
2018-09-04 05:38:12
3
原创 Django 02 簡單註冊頁面的創建3
一、Session和Cookies1.Session在計算機中,尤其是在網絡應用中,稱爲"會話控制".session對象存儲特定用戶會話所需要的屬性及配置信息.這樣,當用戶在應用程序的web頁之間請求跳轉時,儲存在session對象中的變
2018-09-04 05:38:11