原创 Python網絡編程——urllib,urllib2(2),附帶部分GUI基礎

本篇博客是上篇博客的延續,涉及到的知識點除了上篇博客所提到的字典、web應用、模塊/包的之外,還涉及到簡單的抓包、正則表達式以及Python的GUI設計。 還是老樣子,先講點知識點,再來乾貨。 一、正則表達式 舉個例子,假如我經營着一家大

原创 python爬蟲練手二

        前段時間分享了一段爬蟲代碼,主要功能是向某個指定網站POST一組字典數據後re返回的數據,最終顯示在GUI界面上,也就是一個很簡單的簽名設計。但是代碼前段時間還能跑,但最近就瞎了,返回了403,估計被反了。所以今天單獨另外

原创 python TXT文件操作

#coding:utf-8 import MySQLdb #連接數據庫 db = MySQLdb.connect() db.set_character_set('utf8') cursor = db.cursor() #select

原创 筆記整合一:由線性迴歸到邏輯迴歸

文章目錄一、相關概念1、優化機器學習算法模型參數1.1 最小二乘法公式:1.2 梯度下降1.3 交叉驗證二.線性迴歸2.1 一般表達式:2.2 解決問題2.3 正則化2.4注意三、邏輯迴歸3.1 相關概念3.1.1本質3.1.2

原创 python使用supervisor進行進程管理

        Supervisor 是一個用python實現的進程管理工具,可以很方便地啓動、重啓、關閉、查看進程(不僅僅是python進程)。除卻對單個進程的控制,它還能監控進程:當進程由於某些原因被誤kill掉了之後,自動重啓併發送

原创 Python抓取圖片(貼吧)

今天給大家寫分享一個爬蟲小程序,用來抓取貼吧的一些圖片  picture.py。 步驟: 1、獲取指定網頁源代碼,建議request一下。 2、匹配正則 3、利用urlretrieve下載 在這兒呢需要注意的是urlretrieve(p

原创 基於樹莓派的智能寢室終端(Python練手,運行狀況)3

一、內核溫度系統 注:樹莓派自帶溫度傳感器 1、http://shumeipai.nxez.com/2014/10/04/get-raspberry-the-current- status-and-data.html(資料引用) sudo

原创 python web 開發——初識django

一、開發環境 1、Win7下:DOS 2、虛擬環境配置:python三大神器之virturalenv 安裝:pip install virtualenv  安裝完之後,記得在把路徑添加到環境變量中,我的是c:\python27\scrip

原创 python 網絡編程——urllib,urllib2簡單運用

知識點一:字典 字典呢就是一種數據結構,我們也可以將它稱作映射,可以儲存任意類型對象。它是由一個鍵/值對組成,舉個通俗一點的例子,以我們的電話簿爲例,值==電話,鍵==姓名。 需要注意的是在字典中,所有的鍵都最多隻能出現一次,此外,與集合

原创 python 網絡編程

        幾乎所有網絡上的程序都在遵循着客戶端服務器架構,都以互聯網協議(IP)爲通信標準,其中,我們用得最多的協議呢是(TCP/IP),它使得計算機之間的通信更像是讀寫文件。         前文我們已經說到,web應用遵循客戶端

原创 基於樹莓派的智能寢室終端(Python練手)4

一、撥號上網 (1)用命令行配置PPPoE 設置modem要用終端。用以下菜單打開:應用程序 > 附件 > 終端。 用來配置的程序包叫PPPoE。這個包是默認安裝的,不過有時配置更改時有可能系統裏沒有。如果下面的命令不能運行,你就得去

原创 python 爬取優酷動漫

#-*- coding:utf-8 -*- #!/usr/bin/env python import re import requests import MySQLdb type = ['熱血','格鬥','戀愛','美少女','校園

原创 使用Celery

Celery是一個專注於實時處理和任務調度的分佈式隊列。所謂任務就是消息,消息中的有效載荷中包含要執行任務需要的全部數據 首先,我們來看一個架構圖 產生任務的方式有2種: 1、發佈者發佈任務(WEB應用) 2、任務調度按期發佈任務(定時

原创 python-scrapy教程(二):網頁跳轉

我們接着上一教程開始講解scrapy中網頁的跳轉 首先,先看我們要採集的網站:優酷list列表--http://list.youku.com/category/show/c_96_r_2017_s_1_d_1_p_1.html 我們所要

原创 python-scrapy教程(三):實戰——採集芒果TV綜藝節目信息

我們先來看看需要採集的網站: 以綜藝類搜索頁第一頁爲例子:http://list.mgtv.com/1/---------2-1---.html,其中一頁有60部綜藝信息 信息: 教程: 創建工程:具體方法前面教程都有,創建完了