原创 單點登陸CAS

單點登錄系統 CAS 什麼是單點登陸? 單點登錄(Single Sign On),簡稱爲 SSO。一個項目通常有很多的子系統,在A子系統登陸後 無需在重複登陸B子系統 簡稱單點登陸。 什麼是 CAS CAS Server 和

原创 Spring容器切面編程 aop註解開發 五中通知類型

AOP 編程 (aspect oriented programing ) 作用 例如 權限校驗 性能檢測 日誌記錄 事物管理等操作 最重要的也是在不修改目標類的情況下對於目標類進行增強,可以跟裝飾者模式對比一下 JDK

原创 MySQL 拉取數據 、pandas轉 excel 中文亂碼

步驟 1、Mysql 拉取數據 2、封裝data Frame類型 3、轉csv 文件輸出 ( excel 打開中文亂碼問題) import logging from tool.db_client.mysql_

原创 鬥魚美女主播封面爬取 python request urlretrieve jsonpath 爬蟲

鬥魚美女主播封面爬取 python request urlretrieve jsonpath 爬蟲   輸出結果   

原创 生產環境數據庫開發規範

生產環境數據開發規範以及注意事項(內容會不斷更新) 效率規範 唯一索引名爲 uk_字段名;普通索引名則爲 idx_字段名 單錶行數超過500萬或者單表容量爲2G的時候建議分庫分表(經驗值)、如果表數據量在3年內達不到500萬的時

原创 json 轉 csv

json 轉 csv import pandas as pd import json file_path = "country_2.json" with open(file_path, encoding='utf-8') as

原创 java虛擬機知識____應付面試應該是夠用了

JVM 目錄 JVM 體系結構概述 1.1 類的加載機制 1.2 類的加載器有哪幾種 1.3 雙親委派機制 1.4 沙箱安全機制 堆 體系結構概述 堆 參數調優入門 1.JVM體系結構概覽 2. 類加載器 類的加載器一共

原创 HIVE之Map數據類型應用

使用場景 場景一 (博主實際使用場景) 因爲公司近期涉及埋點數據的業務邏輯,對於擴展字進行補充因此採用map數據類型存儲擴展字段. 場景二 (其他業務場景) 場景2.1 我的項目裏,生成的一箇中間表,爲了優化性能,裏面有一

原创 線程與線程池

線程與線程池 線程是什麼? 線程是運行在進程中的一個獨立實體,是CPU調度和分派的基本單位。 線程基本不擁有系統資源,可以與同屬一個進程的其它線程共享進程所用多的全部資源 多線程是什麼? 一個進程中多個線程的情況,我們叫做多

原创 爬蟲概念 請求方式 jsoup 分析思路 原理

爬蟲基礎篇 常識介紹 目前爬蟲這項技術比如java C++ python PHP都可以支持爬蟲,目前支持最好的是python,用到的框架就是scrapy對於靜態頁面,動態頁面的話就可以用selenium。中間複雜一些就會涉及到登

原创 Spring 容器創建 依賴注入 web整合 註解使用

知道爲什麼這樣做 ,以及這樣做的好處 Spring 介紹 Spring 容器就是用來創建bean對象的容器,對象從Spring容器中獲得, 有兩大特性 IOC AOP 1. Spring容器的創建 1.1.1 搭建開發環境ja

原创 angular基礎知識以及樣例demo

Angular 基礎知識以及demo樣例 1. 四大特徵 這些特點同服務段springmvc 完全一致 mvc 設計模式 雙向綁定 依賴注入 模塊化設計 2. 初始化指令,雙向綁定 <!--angular 在body內部都會

原创 跨域請求CORS

跨域請求問題解決 什麼叫做跨域請求 跨域是指 請求的協議/端口號/域名 任何一個不同都可以被稱爲跨域請求,例如 ajax 異步向不同的域請求數據,又或者 js 獲取頁面中不同域的框架中(iframe)的數據。分佈式項目中應用更加

原创 Spring boot 整個 ActiveMQ

Spring Boot 簡介 spring boot產生的原因就是因爲spring在創建過程中需要添加大量的依賴,一旦依賴版本出現就會降低開發效率,而且需要在XMl配置大量的屬性,因此spring boot的產生就是爲了解決在s

原创 dubbox

Dubbox 分佈式服務框架 概念 dubbox 屬於dubbo的升級版,用在分佈式的項目中,是一種分佈式服務框架, 特點 RPC 遠程服務調用 實現不同進程之間的通信,例如分佈式項目中,查詢品牌的Service,在運