原创 datax + datax_web避坑指南

接上回:python 調度 datax的json配置文件。 用datax_web 原因:後續有各個項目需要用到datax抽數據,配置json浪費時間,用python腳本去調度也麻煩,datax_web 可以批量配置ison 並存儲到數據庫裏

原创 vue3 + ts 使用axios this指向問題、帶參請求、pd加密 、icon 引入及跨域問題

當 tsconfig.json 中 "strict": true, vue中會報錯: 所有的this後全部飄紅 Property 'XXX' does not exist on type 解決方法: 改爲flase   引入el

原创 sass 版本問題

npm uninstall sass-loader node-sassnpm install [email protected] [email protected] --save-dev

原创 hive 和 oracle 切割列轉行的做法

數據大概這樣 原始 字段1    字段2 大    a;b;c 中    e;f;g 小    h;i;j 目標 字段1  字段2 大    a 大      b 大         c 中  e 。。。   hive 方法 select

原创 windows 定時調度datax json任務

比較忙,好久沒有寫東西了。今天沒啥事剛好有個小需求 需求:後端部分數據從大數據平臺抽取到數倉(以web分的8個模塊幾十張表吧) 1.之前直接用txt寫的python datax.py  XXX.json 發現效率賊特碼低,能跑個十幾二十分鐘

原创 Vue3.0 vite創建項目

1、創建項目 npm init vite-app [project_name] cd 文件夾下 npm install 2、安裝插件依賴路由等 //格式化插件 npm add -D eslint eslint-plugin-vue

原创 關於非root用戶免密登陸的一個坑(Permission denied)

遇到這個問題,找了很多辦法,沒有一個行得通。 回頭看一下這個問題,是權限的問題,大概率是文件夾或者文件的權限安全性受到限制,然後找資料發現,ssh必須要700 keys 必須600,權限太高反而通不過 $ chmod 700 ~/.ssh

原创 融資融券歷史數據前十

目標:前十數據 過程: # -*- coding:utf-8 -*- #不加這個報錯 import requests from bs4 import BeautifulSoup import re import

原创 csv導入到數據庫(目標參考註釋)

import cx_Oracle as cx import csv #flag是你的日期列在哪一列,默認第一列 def save_data(reader,info,table_data,flag =1): #目標:1、如果數據庫

原创 東方財富融資融券行業數據

目標:   代碼: import requests from lxml import etree from bs4 import BeautifulSoup import re import csv import datetim

原创 月度投資者數量

import requests from lxml import etree from bs4 import BeautifulSoup import csv url = 'http://www.chinaclear.cn/cms-s

原创 月度債券數據

import requests from bs4 import BeautifulSoup import json import re import csv Cookie = "yfx_c_g_u_id_10000042=_ck1909

原创 爬取上證交易所的每週股票交易概況

寫了幾篇文章都是自己看的,沒什麼水平,只放了幾個註釋,供借鑑。 這幾天每天在各大交易所爬數據,頭大,寫幾個放在裏面怕丟掉了。 一、思路  1 、打開你要爬取的網頁   2、拿到你要的網頁url      3、找到你所要數據所處的網頁位置

原创 2020上班第一天

由於 ios軟件需要重簽名,本人窮得一逼沒得蘋果,只能搞個虛擬機裝個黑蘋果,還好之前虛擬機以及裝好了mac插件,這邊下完10.14版本得cdr,就開始直接安裝了,配置好虛擬機,將cdr後綴直接改iso,然後改一下vmx文件,在smc.pre

原创 動態網頁爬取方法

import requestsfrom bs4 import BeautifulSoup import json import re import csv Cookie = "HAList=a-sz-300520-%u79D1