原创 MongoDB(二)集羣和安全

第一章、副本集 - Replica Sets 1.1 簡介 MongoDB 中的副本集(Replica Set)是一組維護相同數據集的 mongod 服務。 副本集可提供冗餘和高可用性,是所有生產部署的基礎。 也可以說,副本集類似於有自動故

原创 Elasticsearch(二)進階、優化、面試題

第五章、Elasticsearch進階 5.1 核心概念 索引Index 一個索引就是一個擁有幾分相似特徵的文檔的集合。比如說,你可以有一個客戶數據的索引,另一個產品目錄的索引,還有一個訂單數據的索引。一個索引由一個名字來標識(必須全部是小

原创 Elasticsearch(一)入門

第一章、Elasticsearch概述 1.1 開篇 結構化數據 結構化數據 半結構化數據 1.2 技術選型 Elasticsearch 是什麼 The Elastic Stack, 包括 Elasticsearch、 Kibana、

原创 25個Pandas高頻實用技巧

參考翻譯自:https://github.com/justmarkham/pandas-videos 導入案例數據集 import pandas as pd import numpy as np drinks = pd.read_csv(

原创 SCI簡介和寫作順序

一、SCI論文組成部分簡介 一篇完整的 sci 論文主要包括以下幾個主要的組成部分,從前往後依次分別是 Title 就是說這個文章的標題其次是 Abstract 也就是這個文章的摘要。接下來是 Introduction 就是這篇文章的引言。

原创 Hive函數重要應用案例(窗口函數、拉鍊表)

五、窗口函數應用實例 5.1 連續登陸用戶 需求 當前有一份用戶登錄數據如下圖所示,數據中有兩個字段,分別是userId和loginTime。 userId表示唯一的用戶ID,唯一標識一個用戶,loginTime表示用戶的登錄日期,例如第

原创 ROC曲線繪製

1. 引入相關包 使用matplotlib包作爲繪圖庫,故要引入相關的包 爲了使畫出的圖更爲符合期刊要求,這裏引入SciencePlots。 它是一個基於Matplotlib的補充包,裏面主要包含了一些以.mplstyle爲後綴的圖表樣式的

原创 SpringBoot+ MybatisPlus 實戰——智慧校園管理系統

這個項目只有後端,沒有前端部分,只適合用來複習SpringBoot後端知識和體系。 B站視頻:https://www.bilibili.com/video/BV1AY4y1v7Xe/ https://pan.baidu.com/s/1efT

原创 Redis(七)新數據類型、新功能

第一章 Redis新數據類型 1.1 Bitmaps 簡介 現代計算機用二進制(位) 作爲信息的基礎單位, 1個字節等於8位, 例如“abc”字符串是由3個字節組成, 但實際在計算機存儲時將其用二進制表示, “abc”分別對應的ASCII碼

原创 Redis(六)應用問題解決

第一章 緩存穿透 1.1 問題描述 key對應的數據在數據源並不存在,每次針對此key的請求從緩存獲取不到,請求都會壓到數據源,從而可能壓垮數據源。比如用一個不存在的用戶id獲取用戶信息,不論緩存還是數據庫都沒有,若黑客利用此漏洞進行攻擊可

原创 Redis(四)持久化

官網介紹:http://www.redis.io Redis 提供了2個不同形式的持久化方式。 RDB(Redis DataBase) AOF(Append Of File) 第一章 RDB(Redis DataBase) 1.1 官

原创 Redis(五)主從複製、集羣

第一章 Redis 主從複製 1.1 主從複製是什麼 主機數據更新後根據配置和策略, 自動同步到備機的master/slaver機制,Master以寫爲主,Slave以讀爲主 1.2 主從複製能幹嘛 讀寫分離,性能擴展 容災快速恢復

原创 計算機組成原理——思維導圖

第一章 計算機系統概論 馮諾依曼型計算機特點 1.計算機由運算器,控制器,存儲器,輸入和輸出設備5部分組成 2.採用存儲程序的方式,程序和數據放在同一個存儲器中,並以二進制表示。 3.指令由操作碼和地址碼組成 4.指令在存儲器中按執行順

原创 一些Arcgis操作

多值提取至點 https://desktop.arcgis.com/zh-cn/arcmap/latest/tools/spatial-analyst-toolbox/extract-multi-values-to-points.htm 參

原创 csv轉換爲shp

一、csv文件內容 csv文件中記錄了500行氣象信息 我們需要做的是利用Fiona包,將csv的內容讀取,並導出爲shp格式 二、代碼 import fiona from collections import OrderedDict i