原创 linux 去重之後進行合併
#!bin/bash awk '!a[$0]++' xxjf_10.161.*51.txt > xxjf__51.txt
2020-07-07 03:28:38
1
原创 shell調用無參數存儲過程
注意：需要將結尾；做修改 delimiter # # 編寫存儲過程 CREATE PROCEDURE create_tel() BEGIN DECLARE id INT; SET id=10; WHILE
2020-07-07 03:28:38
原创 空值檢查的存儲過程
# 空值檢查存儲過程 CREATE PROCEDURE `check_column_null_num`(IN schema_name VARCHAR(100), IN table_name2 VARCHAR(100)) BEGIN
2020-06-24 23:36:34
原创 矩陣轉換-shell版
使用shell完成矩陣轉換： file.txt中的內容爲以下： name age alice 21 ryan 30 轉化後： name alice ryan age 21 30 awk '{ #這個大括號裏的代碼是 對正文的處理
2020-06-16 08:29:02
1
原创 用python實現Hbase的讀寫操作
讀取Habse中的數據 from pyspark import SparkContext, SparkConf # spark集羣的地址 conf = SparkConf().setMaster('local').setAppN
2020-06-16 08:29:02
3
原创 用pymysql來獲取數據
# -*-coding:utf-8-*- import pymysql import pandas as pd import time def execude_sql(sql): # 創建連接 try:
2020-06-16 08:29:02
原创 使用python將數據導出到表格中
def get_sec_exc(time): # 建立連接 conn=pymysql.connect( host="0.0.0.0", port=3308, user
2020-06-16 08:29:02
原创 SQL中常用的函數（二）
1、聚合函數中的方差和標準差 VARIANCE(方差) SELECT VARIANCE(字段) FROM TABLE; STDDEV(標準差) SELECT STDDEV(標準差) FROM TABLE; 2、字符串函數 1)C
2020-06-16 08:29:02
原创 工作中最常用的oracle中的函數
oracle遠程連接數據庫命令： sqlplus usr/pwd@//host:port/sid oracle函數 （1）CONCAT()函數在Oracle中可以用於將兩個字符串連接在一起 CONCAT( string1, st
2020-06-16 08:29:02
原创 hadoop單機分佈式和僞分佈式搭建教程
hadoop安裝教程參考： 廈大教授－林子雨 http://dblab.xmu.edu.cn/blog/install-hadoop/
2020-06-16 08:29:02
原创 oracle之臨時表（temporary table）
1、臨時表的定義： 用來保存事物或會話期間的中間結果，只對當前事務或者會話是可見的，其他任 何會話都無法進行讀取的臨時創建的表。 2、臨時表的特點 多用戶操作的獨立性：對於使用同一張臨時表的不同用戶，Oracle都會分配一個獨
2020-06-16 08:29:02
原创 用python將excle數據導入數據庫中
import pymysql import xlrd import sys ''' 連接數據庫 args：db_name（數據庫名稱） returns:db ''' def mysq
2020-05-26 19:28:24
原创 mysq數據庫備份
conf.py #!/usr/bin/env python conn_dict = dict(host='127.0.0.1', user='root', passwd='12345', db='08day05', port=
2020-05-26 19:28:24
原创 python實現淘寶自動登錄秒殺功能
最近準點搶東西 ，搶不到有點煩，寫了一個準點淘寶強東西的小程序。親測，已經搶到。 from selenium import webdriver import datetime import time # 打開Chrome瀏覽器
2020-05-26 19:28:24
原创 對文件的操作集合
批量修改文件後綴 #!/bin/bash cd '/home/dccmc/Tool_Management_Platform/auto_check/zsj/shell/data' pwd read -p "input the old
2020-05-21 18:08:24