金融行情數據抓取系列文章——金融資產行情簡介

以前做過一段時間和金融數據處理有關的工作,這個系列的文章大體是對前面工作的一個總結。全球金融市場的金融資產種類非常多,有的品種對實時性要求會非常高,比如外匯,股票等,有的品種對實時性要求可能沒那麼高,比如OTC市場的一些交易品種。

對於一家想要創業的公司或者自己需要使用數據來分析做策略的人來講,花錢買這些數據會非常昂貴,用程序來抓更實用一些。但用程序來抓取數據有一個最大的問題是很難做到實時性,所以抓來的數據用來做一些非實時性的策略分析還行。或者拿來放在自己的網站對外展示展示也還湊合,這裏要注意有些數據在沒有授權的情況下,放在自己的網站對外展示是侵權的,比如港交所的數據,英國FTSE的指數等。

本系列文章涉及到的數據基本都是從其他網站抓的,並沒有使用一些開放的API,不是說沒有這樣的API,好多網站也提供,相當於他們做聚合,然後轉包,也是收費的,費用也不低。還有一些數據會直接使用一些軟件對外提供的接口,例如使用MT4抓取外匯,CFD的數據等。

一般做網絡爬蟲都是使用python,它本身提供了大量的庫,使用起來非常方便。由於對python不是很瞭解,所以本系列文章都是使用nodejs去抓取數據的,開發起來一樣很快。

寫這些文章的目的不是想說抓取程序是怎麼設計的,因爲絕大多數時候都是直接調用其它網站的HTTP請求,也沒太多好講的,我想寫的主要是這些網站HTTP請求需要的參數,以及返回金融數據的格式怎麼理解,希望對金融數據不瞭解但又需要做這方面工作的人有些幫助。

發佈了228 篇原創文章 · 獲贊 23 · 訪問量 49萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章