原创 Jsonschema測試實踐

簡介 Json Schema就是用來定義json數據約束的一個標準。根據這個約定模式,交換數據的雙方可以理解json數據的要求和約束,也可以據此對數據進行驗證,保證數據交換的正確性(通俗來講:描述或者驗證數據格式)。 Jsonschema

原创 搭建一個簡單Django+vue 項目

簡介: Django是python的web開發框架,採用了MTV的框架模式,即模型Model,視圖View和模版Template。 各自的職責爲: 模型(Model),即數據存取層:如何存取、如何驗證有效性、包含哪些行爲以及數據之間的關係

原创 持續交付初理解

簡介 所謂持續交付,其實是一種軟件工程手法,讓軟件產品的產出過程在一個短週期內完成,以保證軟件可以穩定、持續的保持在隨時可以發佈的狀況。 但持續交付的價值不僅僅侷限於簡單地提高產品交付的效率,它還通過統一標準、規範流程、工具化、自動化等等

原创 通過rest接口評估算法可用性

rest的簡單理解:  在使用之前,先簡單的瞭解下rest: 大家都知道”古代”網頁都是前端後端融在一起的,比如之前的PHP,JSP等。在之前的桌面時代問題不大, 但是近年來移動互聯網的發展,各種類型的Client層出不窮,這就催促了re

原创 Python高手四部曲

這篇文章是我從別的文章讀取的一些東西,當然,自己也是加了一些理解和心得的,當然也有很多比我優秀的比我有才華的人作出了許多有關於如何成爲Python高手的途徑。 主要是四個基本題目:函數式編程,測試,編碼規範,入庫。如果一個程序員這四方面的

原创 Python抓取新聞標題和鏈接

#-*-coding:utf-8-*- import re from urllib import urlretrieve   from urllib

原创 linux下部署kettle

自己也是剛學習kettle不久,還沒有精通,以下是我linux下部署kettle的學習筆記和心得,接下來就讓我們開始吧! 一、首先先看一下允許kettle的最低版本的JDK,編輯查看spoon.bat可以看到 可以看出,最低版本是1.

原创 Python中運用正則表達式抓取網頁圖片

#!/usr/bin/python import re import urllib #獲取網頁信息 def getHtml(url):     pa

原创 請求rest接口初體驗

背景: 隨着測試逐漸優化升級,單個每回調用一次接口,有時候會滿足不了要求,打個比方:像測試人臉識別算法的識別率(讓開發暴露出了一個rest接口給了我),就需要調用大量的照片訪問這個接口,已達到目的,那現在這種情況下就不能一張一張的來調用接

原创 將圖片解讀爲base64編碼並傳到接口中

將圖片傳入接口中,並取得結果 ,話不多說,直接上代碼。 import base64 import requests def img_to_base64(img_path): #將圖片轉爲base64編碼格式 with op

原创 抓取新浪網的標題

剛想開始入手的時候,想着爬今日頭條來的,但是看它那麼難,就往後放了放,一直在跟前輩們溝通,但是中間也不能閒下來呀,所以,就穿插着又爬了一下新浪網的新聞,這個就比較簡單了,直接查看網頁源代碼就可以找到他的信息,那接下來就直接上代碼就可以了噻

原创 創建第一個scrapy項目

創建項目 在開始爬取之前,您必須創建一個新的Scrapy項目。 進入您打算存儲代碼的目錄中,運行下列命令: scrapy startproject tutorial 該命令將會創建包含下列內容的 tutorial 目錄:

原创 kettle excel

自己正在做一個關於數據預處理的東西,正在清洗數據, 1.解決 發現kettle4.x 中excel只能處理65536行數據, 如果想要修改的的話,就要設置一下 這樣就能讀取.xlsx格式,並且也能讀取到一百多萬行,暫時就沒有那個問題了。

原创 Python解析json

剛學習到Python中解析json的方法,覺得有必要在這裏坐下筆記。 我是在python的內部環境中看的<span style="font-family: Arial, Helvetica, sans-serif;"> </sp

原创 抓取網易新聞

自己寫了些關於抓取網易新聞的爬蟲,發現其網頁源代碼與網頁的評論根本就對不上,所以, 採用了抓包工具得到了其評論的隱藏地址(每個瀏覽器都有自己的抓包工具,都可以用來分析網站) 如果仔細觀察的話就會發現,有一個特殊的,那麼這個就是自己想要的了