原创 NLP文本分類--詞向量

1.基於規則,對於要提取的分類維護一個dict,在dict裏面保存需要提取的關鍵詞,存在關鍵詞的對應標記爲分類;(缺點,不斷的去維護詞典) 2.基於機器學習:HMM(分詞最常用的),CRF,SVM,LDA,CNN 3.詞袋模型:b

原创 如何在Python中計算文件的MD5哈希

本文是對這篇文章的翻譯:如何在Python中計算文件的MD5哈希 MD5是一種消息摘要算法,用於從可變輸入數據中創建唯一的固定大小值。MD5通常用於檢查文件在傳輸過程中是否損壞(在這種情況下,哈希值稱爲校驗和)。文件中的任何更改都

原创 也談進程和線程

首先來看一下爲什麼會有進程的出現,爲了管理程序,因爲在一個只有程序調度的操作系統中,所有程序共享內存,會引起衝突,然後需要統一的內存管理機制,保證每個程序都是由獨立的運行空間。 引用地址:http://www.ruanyifen

原创 gin使用入門

參考鏈接:Go Gin Example go get -u github.com/gin-gonic/gin

原创 ES一些使用記錄

ES隨機返回 數據 { "size": 3, "query": { "function_score": { # 過濾條件 "query":{"b

原创 tornado並行執行多個異步請求

tornado並行執行多個異步請求 tornado並行執行多個異步的原理 初探python mock

原创 常見數據庫集羣連接 python

mongo的 參考鏈接: 關於MongoDB連接字符串URI格式 from loguru import logger from pymongo import MongoClient MONGODB_URI = "mongodb:/

原创 Python 批量操作 數據庫的記錄

# 1. ES批量操作 from elasticsearch5 import Elasticsearch, helpers es = Elasticsearch([{"host": ELASTIC_SEARCH_IP, "po

原创 python基礎(六):數據庫(以mysql爲例)

Day15:python數據庫 數據庫:按照數據結構來,組織、管理、存儲數據的倉庫,可以和編程語言結合 1.MySQL安裝 mysql屬於關係型數據庫 1.選擇custom: 2.只需要選擇這一個進行安裝就可以了 3

原创 Python基礎(二):程序基本組成

Python程序基本組成 1.Python中的註釋 單行註釋 使用# 多行註釋使用三個單引號或者三個雙引號 ''' 註釋內容 ''' 或 """ 註釋內容 """ ​ 2.Python中的輸出 print輸出: print

原创 python基礎(一):基本數據類型

Day1:python基礎 1.開發環境及其安裝 python存在2.X和3.X版本;根據需要進行下載;其中2.X需要進行環境變量的配置。3.6最新版本只需要選擇添加到環境變量就可以自動添加。 開發工具:cmd命令行,pytho

原创 Python基礎(三):循環

Python循環 程序一般是順序執行,if else 也是順序執行的;而循環(cycle)是控制程序執行流程的; 循環是程序的主要過程之一,對於列表的訪問,數列的計算都有很好的用途。在迭代過程中很有用,還有就是等比,等差數列和一些

原创 流量拷貝-gor,壓測

一個好用的工具,記錄下,相關連接參考:流量拷貝-gor, 生產環境模擬:使用Gor複製生產環境流量 直接網盤下載 gor工具下載 提取碼:pvaq

原创 redis集羣安裝5.0版本

兩臺機器部署: 現有兩臺機器10.100.16.83和10.100.16.84局域網IP部署集羣環境: 使用最新的穩定版本redis-5.優勢是這個版本把集羣啓動從ruby中遷移到C中了,這樣就不用安裝ruby環境。直接使用redis

原创 python列表字典嵌套排序

# 需要排序的內容,要求按照數值由低到高進行排序 att_value = [{'萬科': '0.7318349007046632'}, {'影視': '0.5518031664124353'}, {'湖南衛視': '0.5666107