原创 sklearn之主成分分析pca

sklearn之主成分分析pca 在scikit-learn中,CA是主成分分析的縮寫。主成分分析是一種常用的線性降維技術,可以將多維數據集降到較低的特徵維度,並保留數據集的大部分特徵信息。在sklearn中,使用PCA需要引入PCA模塊,

原创 餘弦相似性的應用

餘弦相似性 介紹 餘弦相似度,又稱爲餘弦相似性,是通過計算兩個向量的夾角餘弦值來評估他們的相似度。餘弦相似度將向量根據座標值,繪製到向量空間中,如最常見的二維空間。 cosine_similarity是一種度量兩個非零向量之間夾角的相似性的

原创 輪廓係數(Silhouette Coefficient Index)

輪廓係數(Silhouette Coefficient Index) 輪廓係數(Silhouette Coefficient Index)是一種聚類評估指標,用於評估數據聚類的效果。其取值範圍在[-1, 1]之間,指標值越大表示聚類結果聚類

原创 計算兩個概率分佈之間的距離(Hellinger距離)

Hellinger距離 介紹 Hellinger距離是一種用於度量概率分佈之間相似度的指標。 在統計學和信息論領域中,它被廣泛應用於分類、聚類、圖像識別、文本分類等方面。 Hellinger距離又稱爲Bhattacharyya距離的平方根,

原创 Python操作pdf文件|pdfpiumbe&PyPDF2

Python操作pdf文件 1 pdfpiumber庫 pdfpiumber是一個免費、開源的Python庫,用於提取PDF文件中的文本和表格數據。它包括一個PDF解析器,可以找到和提取PDF文檔中的文本和表格數據。 1.1 安裝pdfpl

原创 openpyxl 文字豎排

openpyxl 文字豎排 使用openpyxl如何設置文本豎排顯示,而不是文本旋轉角度顯示? 在對齊類屬性中有一個textRotation參數,設置textRotation=255就可以設置文本豎排顯示, 當設置的textRotation

原创 pandas中的agg&transform方法

pandas中的agg&transform方法 1 聚合函數 agg 1.1 介紹 agg方法是pandas中用於數據集彙總的函數,它可以將聚合行爲應用於一組函數(字符串、函數或名稱),這些函數將被應用於每一行或列,並返回單個結果,以使彙總

原创 pandas條件替換值(where&mask)

pandas條件替換值(where&mask) 在日常分析中,經常會遇到對數據的篩選處理相關的工作,我們可以使用loc和iloc定位分析篩選的列或行數據,下面介紹一種高級篩選的用法where和mask。 pd.where: 替換條件(con

原创 python虛擬環境遷移問題

python虛擬環境遷移問題 問題 因目標機器網絡限制,無法通過pip直接安裝依賴包,但直接複製虛擬環境到另一臺機器會,會導致無法執行python腳本文件 本機python環境打包 先進入本機cmd,切換到腳本項目目錄下 激

原创 查找需要優化的sql語句

慢查詢日誌: 是一種mysql提供的日誌,記錄所有執行時間超過某個時間界限的sql的語句。這個時間界限,我們可以指定。在mysql中默認沒有開啓慢查詢,即使開啓了,只會記錄執行的sql語句超過10秒的語句。 如何啓動慢查詢日誌: 方式一

原创 python-docx操作word文檔

python-docx神器操作word文檔 1 安裝 pip 來安裝: $ pip install python-docx 2 簡單使用 from docx import Document # 創建word文檔 document = D

原创 python緩存入門

python緩存入門 1 簡介 什麼是緩存呢? ​ 緩存就是利用編程技術把數據存儲在臨時位置,不用再去通過數據源獲取數據。 緩存的規則是什麼? 頻繁調用的函數,輸出不經常改變,執行需要很長時間 緩存應該比從當前數據源獲取數據快 緩

原创 python知識深入瞭解

python知識深入瞭解 1 全局解釋器鎖(GIL) 不是python的特性 描述Python GIL的概念, 以及它對python多線程的影響? 編寫一個多線程抓取網頁的程序,並闡明多線程抓取程序是否可比單線程性能有提升,並解釋原因

原创 03_linux用戶和用戶組管理

用戶和用戶組管理 1 概述 Linux系統是一個多用戶多任務的分時操作系統,任何一個要使用系統資源的用戶,都必須首先向系統管理員申請一個賬號,然後以這個賬號的身份進入系統。 用戶的賬號一方面可以幫助系統管理員對使用系統的用戶進行跟蹤,並控制

原创 02_遠程連接linux系統

遠程連接linux系統 linux操作系統主要運行在遠程服務器環境中,如果我們要登錄遠程服務器,那麼我們需要藉助工具來連接遠程linux系統服務 在這裏推薦一款比較好用的工具:Mobaxterm 1 連接工具 1.1 下載Mobaxterm