原创 pandas用法大全

一、生成數據表  1、首先導入pandas庫,一般都會用到numpy庫,所以我們先導入備用: import numpy as np import pandas as pd 1 2 2、導入CSV或者xlsx文件: df = pd.Data

原创 redis中獲取字典順序

from collections import OrderedDict red = redis.Redis(host='192.168.16.237', port=6379, db=0) def getmusiclabeldic(

原创 一文看懂常用的梯度下降算法

  概述   梯度下降算法(Gradient Descent Optimization)是神經網絡模型訓練最常用的優化算法。對於深度學習模型,基本都是採用梯度下降算法來進行優化訓練的。梯度下降算法背後的原理:目標函數關於參數的梯度將是目標

原创 布隆過濾器

布隆過濾器是大數據領域的一個常見算法,它的目的是過濾掉那些不是目標的元素。也就是說如果一個要搜索的詞並不存在與我的數據中,那麼它可以以很快的速度返回目標不存在。 class BloomFilter(object):     def __i

原创 數據歸歸一化方法(標準化)

 數據標準化(歸一化)處理是數據挖掘的一項基礎工作,不同評價指標往往具有不同的量綱和量綱單位,這樣的情況會影響到數據分析的結果,爲了消除指標之間的量綱影響,需要進行數據標準化處理,以解決數據指標之間的可比性。原始數據經過數據標準化處理後,

原创 推薦算法相似度計算

推薦系統中相似度計算可以說是基礎中的基礎了,因爲基本所有的推薦算法都是在計算相似度,用戶相似度或者物品相似度,這裏羅列一下各種相似度計算方法和適用點 餘弦相似度     這個基本上是最常用的,最初用在計算文本相似度效果很好,一般像tf-

原创 ubuntu mysql數據庫遷移

在做操作前先進行數據庫的全量備份,進行鎖表,最好stop 數據庫第一種方法:1.設置新的存放路徑mkdir -p /data/mysql2.複製原有數據cp -R /var/lib/mysql/* /data/mysql3.修改權限chow

原创 mysql 最大鏈接數 max_connections 設置

mysql5.71、臨時設置最大鏈接數爲1000,重啓mysql後 會變成默認值151.mysql -uuser -ppassword(命令行登錄MySQL)mysql>show variables like 'max_connection

原创 安裝windos pymysql

python2和python3是不兼容的,在py2中,鏈接數據庫使用的是mysqldb,但在py3中是不能用的。 解決辦法就是在py3中數據庫使用的模塊是pyMysql。 在dos窗口中安裝第三方庫會使用到pip安裝。 首先進入python

原创 ss查看tcp鏈接數

ssh-h:顯示幫助信息;-V:顯示指令版本信息;-n:不解析服務名稱,以數字方式顯示;-a:顯示所有的套接字;-l:顯示處於監聽狀態的套接字;-o:顯示計時器信息;-m:顯示套接字的內存使用情況;-p:顯示使用套接字的進程信息;-i:顯示

原创 nginx啓動

nginx 服務器重啓命令,關閉nginx -s reload :修改配置後重新加載生效nginx -s reopen :重新打開日誌文件nginx -t -c /path/to/nginx.conf 測試nginx配置文件是否正確 關

原创 Ubuntu安裝CMake3.6.3

準備工作:官網下載cmake-3.6.3.tar.gz(https://cmake.org/download/) 1.解壓文件tar -xvf cmake-3.6.3.tar.gz,並修改文件權限chmod -R 777 cmake-3.6

原创 Apache ActiveMQ消息中間件的安裝

Linux部署Apache ActiveMQ 5.14.1 簡單記一下,下載地址 http://activemq.apache.org/download.html 一、安裝JDK7以上,官方說明:http://activemq.apache

原创 Nginx日誌切割

日誌切割當網站訪問量大後,日誌數據就會很多,如果全部寫到一個日誌文件中去,文件會變得越來越大。文件大速度就會慢下來,比如一個文件幾百兆。寫入日誌的時候,會影響操作速度。另外,如果我想看看訪問日誌,一個幾百兆的文件,下載下來打開也很慢。爲了方

原创 ubuntu開啓crontab日誌

ubuntu默認沒有開啓cron日誌記錄 1. 修改rsyslog sudo vim /etc/rsyslog.d/50-default.conf cron.*              /var/log/cron.log #將cron前面