原创 psi計算
基礎概念：https://zhuanlan.zhihu.com/p/344754828 import sys import pandas as pd import numpy as np import math # all_list =
2022-02-26 13:42:15
原创 pandas隨機創建數據
import numpy as np date = ['20210912', '20210922', '20211009', '20211102'] new_date = [] for i in range(100): new_d
2022-02-26 13:42:15
原创 CVAE
import torch import torch.nn as nn from sklearn.preprocessing import LabelBinarizer from torch.nn import functional as F
2022-01-14 13:40:35
原创 awk複合條件篩選
cat result.tmp.case_t |awk -F'\t' '(($3==2) || ($3==3)) && ($4 < 0.4) {print}' 按 '\t'分開列，第三列爲2/3，第四列 < 0.4的數據輸出
2021-11-20 13:49:08
原创 awk和sort實現輸出多個字段並按某個字段排序
a 123 234 345 b 234 222 567 a 123 345 789 b 123 234 567 cat tmp.txt |awk -F " " '{print $1 "|" $2 "|" $3 "|" $4}' |sort
2021-11-19 13:50:01
原创 hadoop的merge操作腳本
import math import struct import traceback import numpy as np def mapper(): #filepath = os.environ["map_input_
2021-11-10 13:49:18
原创 管道快速讀取數據
import sys for line in sys.stdin: line = line.strip('\n\r').split('\t') print("{0}\t{1}\1{2}\1{3}\1{4}\
2021-11-09 13:49:38
原创 推薦系統評估指標
推薦系統評估指標 https://www.cnblogs.com/eilearn/p/14164687.html PNR（Positive Negative Rate） 正逆序比 = 正序數 / 逆序數； AUC（Area Under
2021-10-22 13:49:04
原创 shell找出出現在A文件中，但是不在B文件中的行
shell找出出現在A文件中，但是不在B文件中的行 cat A B B |sort |uniq -u > output.txt
2021-10-11 13:49:09
原创 bash循環執行程序
1 bash循環執行程序 #!/bin/sh list1="1 2 3 4 5" # 這就是個string list2="5 4 3 2 1" list1_x=($list1) # 轉換成列表 list2_x=($list2) le
2021-10-10 13:49:03
原创 hadoop任務學習
Demo shell相關 cd `dirname $0` $0當前Shell程序的文件名 dirname $0，獲取當前Shell程序的路徑 cd `dirname $0`，進入當前Shell程序的目錄
2021-10-08 13:49:02