比特幣交易信息數據集準備

一、數據來源

數據來源爲：https://www.oklink.com/eth/tx-list，我們將其中的交易信息處理後作爲比特幣交易數據集的數據來源。

二、準備的數據類型及其意義

我們將數據進行整理後，分類爲如下數據類型：

交易哈希 ：比特幣交易哈希，例如7f5a92db44be25414d5c322cc474bfcb94e538f5e511ff2776db6bf7c507bba0
區塊高度 ：該交易所在區塊，例如667300
交易時間戳 ：交易所在區塊出塊時間戳（秒級），例如1611404276
輸入地址 ：交易支付方地址，例如16M3qXrGkAYppA1aJug49JtYDxQkdKGLW8
輸出地址 ：交易接收方地址，例如1387LuWrcYBcGtBsADix6Yo1iLox6VM4m1
交易金額 ：按照比例轉換後的單個支出方支付給單個接收方的交易金額，例如0.002489832589155737

三、數據處理

由於比特幣的獨特交易方式，無法獲得一筆交易中的發送方和接收方的一對一的交易信息。所以我們將交易金額進行等比例轉化，使其按照接受方金額乘發送方在發送方總金額佔比的方式處理交易金額，最終呈現出交易一對一的形式。

公式：單筆交易金額 = 單個接收方接收金額 * （單個發送方發送金額 / 發送方發送總金額）

特殊處理：
1、輸入方信息爲空，僅有接受方信息，實爲礦工接收礦工費：將發送方地址記錄爲null
2、該網站接受方信息可能出現解析錯誤，實則並不存在：直接去除，不進行存儲

四、數據存儲

數據的存儲採用文本文件的方式，如下圖：

各字段按順序依次爲
交易哈希、區塊高度、交易時間戳、輸入地址、輸出地址、交易金額

五、代碼

最後，附上完整代碼：

import requests
import time
import random
import base64


# 封裝get請求參數，返回請求參數（字典類型）
def get_params(limit, offset):
    # 獲取當前時間戳
    get_time = round(time.time() * 1000)
    # 封裝get請求參數
    params = {
   
   
        't': get_time,
        'limit': limit,
        'offset': offset
    }
    return params


# 封裝get請求頭，返回請求頭（字典類型）
def get_headers():
    # 獲取動態變化且加密的x_apiKey
    x_apikey = get_x_apikey()
    # 封裝請求頭
    headers = {
   
   
        'Accept': 'application/json',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'App-Type': 'web',
        'Connection': 'keep-alive',
        'devId': 'e1e4a5cd-2303-42f7-b6c8-fd19bb6b7e6f',
        'ftID': '52103795853138.011509f1cf101a3f80efe0c3e228e2084ac81.1010L8o0.FB62638978454009',
        'Host': 'www.oklink.com',
        'Referer': 'https://www.oklink.com/btc/tx-list',
        'Sec-Fetch-Dest': 'empty',
        'Sec-Fetch-Mode': 'cors',
        'Sec-Fetch-Site': 'same-origin',
        'User-Agent': 'Mozilla/5.0(Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36',
        'x-apiKey': x_apikey
    }
    return headers


# 獲取動態變化且加密的x_apiKey
def get_x_apikey():
    # API_KEY固定字符串
    API_KEY = "a2c903cc-b31e-4547-9299-b6d07b7631ab"
    Key1 = API_KEY[0:8]
    Key2 = API_KEY[8:]
    #  交換API_KEY部分內容
    new_Key = Key2 + Key1
    # 獲取當前時間，毫秒級
    cur_time = round(time.time() * 1000)
    # 處理獲得的時間
    new_time = str(1 * cur_time + 1111111111111)
    # 生成三個0-9的隨機整數
    random1 = str(random.randint(0, 9))
    random2 = str(random.randint(0, 9))
    random3 = str(random.randint(0, 9))
    # 再次處理時間字符串
    cur_time = new_time + random1 + random2 + random3
    # 將包含API_KEY和時間串的內容合併
    this_Key = new_Key + '|' + cur_time
    # 轉碼
    n_k = this_Key.encode('utf-8')
    # base64加祕
    x_apiKey = base64.b64encode(n_k)
    # 將加密後的x_apiKey返回
    return str(x_apiKey, encoding='utf8')


# 導入數據到文本文件
def insert_txt(data):
    # 創建文本文件，用於存儲比特幣交易數據
    with open('./b—coin.txt', 'a', encoding='utf-8') as fp:
        # 遍歷每一條交易信息
        for transaction in data:
            transaction_address = transaction['hash']   # 交易地址
            block_height = transaction['blockHeight']   # 區塊高度
            block_time = transaction['blocktime']  # 交易時間戳
            input_count = transaction['inputsCount']    # 輸入賬戶數量
            input_count_error = 0  # 判斷輸入解析錯誤或者輸入爲空個數
            output_count = transaction['outputsCount']  # 輸出賬戶數量
            output_count_error = 0  # 判斷輸出解析錯誤或者輸入爲空個數
            inputs_all_value = transaction['inputsValue']   # 輸入金額
            # outputs_all_value = transaction['outputsValue']  # 輸出金額
            # 輸入賬戶金額列表
            input_value_list = []
            # 輸入賬戶地址列表
            input_address_list = []
            # 遍歷輸入賬戶，拿到輸入賬戶地址和各賬戶輸入金額
            for in_value in transaction['inputs']:
                # 判斷輸入是否爲空
                if in_value['prevAddresses']:
                    input_value_list.append(in_value['prevValue'])
                    input_address_list.append(in_value['prevAddresses'])
                else:
                    input_count_error += 1
            # 輸出賬戶金額列表
            output_value_list = []
            # 輸出賬戶地址列表
            output_address_list = []
            # 遍歷輸出賬戶，拿到輸出賬戶地址和各賬戶輸出金額
            for out_value in transaction['outputs']:
                # 判斷輸出是否爲空
                if out_value['addresses']:
                    output_value_list.append(out_value['value'])
                    output_address_list.append(out_value['addresses'])
                else:
                    output_count_error += 1
            # 重置新的輸入，輸出個數
            input_count = input_count - input_count_error
            output_count = output_count - output_count_error
            if input_count == 0:  # 對應礦工獎金
                # 一對一給出，寫入文本文件
                for j in range(0, output_count):
                    tran_string = transaction_address + " " + str(block_height) + " " + str(block_time) + " null " + output_address_list[j][0] + " " + str(output_value_list[j]) + "\n"
                    fp.write(tran_string)
                    j += 1
            else:  # 對應標準情況，寫入文本文件
                for i in range(0, input_count):
                    for j in range(0, output_count):
                        tran_string = transaction_address + " " + str(block_height) + " " + str(block_time) + " " + input_address_list[i][0] + " " + output_address_list[j][0] + " " + str(output_value_list[j]*input_value_list[i]/inputs_all_value) + "\n"
                        fp.write(tran_string)
                        j += 1
                    i += 1


# 主函數
def main():
    set_url = 'https://www.oklink.com/api/explorer/v1/btc/transactionsNoRestrict'
    for i in range(0, 100):
        headers = get_headers()
        params = get_params(100, i*100)
        json_obj = requests.get(url=set_url, params=params, headers=headers).json()
        data = json_obj['data']['hits']
        # 插入數據
        # print(data)
        insert_txt(data)
        print("第"+str(i+1)+"頁完成")


if __name__ == "__main__":
    main()