美赛常用数据库网站大全

数模比赛数据查找网站大全

这里网站非常得多,大家自行选择

Part one

刚开始是查各种外国的,最后才发现中国还是最方便的,各个省市的统计年鉴加上中国的统计年鉴很多数据都能直接得到了。

下面放一些我这次比赛看到过的网站,虽然由于信息获取的相关性有的没有用到,但没准以后就会有用咯。

" InVESTnaturalcapitalproject.stanford.edu图标

这是斯坦福大学研发的一个模拟气候等自然条件变化后会对原有情况产生影响的软件。最新的好像不用配合ArcGIS了。这个东西对于非相关专业的人想短时间入手可能不太轻松。

中国气象数据网data.cma.cn

国家气象局的,有的信息普通注册用户就能获取,我们需要的基本上都能得到。

unstats | Millennium Indicatorsmdgs.un.org图标

联合国统计司,千年指标。不过说真的很多这种联合国统计的信息,在很多类似的联合国机构的数据统计部分都是相类似或者完全一样的信息,不过就是谁更新的及时了。

US Environmental Protection Agencywww3.epa.gov

EPA,可以查到美国的大多数资源的分布情况

imgEPA的页面

https://data.census.gov/cedsci/searchdata.census.govhttps://www.census.gov/quickfacts/fact/table/US/PST045218#www.census.gov

United States Census Bureau,能得到很多有趣的信息,和一些产业的发展情况和相关的新闻报道

img

img这是网站首页下方的介绍

有哪些好的国外的地质科学、自然地理类网站?www.zhihu.com图标

关于地理地质的这个问答说的很好咯

Environmental Performance Index (EPI)sedac.ciesin.columbia.edu

联合国IMF

data.imf.org

img这是一些展示在首页的数据

世界银行,我觉得这个是最NB的,也是界面很友好的一个网站,还不用fanqiang指标更新地都挺快,虽然不知道这些都是怎么收集的。hh

https://databank.worldbank.org/data/reports.aspx?source=world-development-indicators&Type=TABLE&preview=ondatabank.worldbank.orgWorld Development Indicatorsdatabank.worldbank.org

欧盟环境的

https://www.eea.europa.eu/www.eea.europa.eu图标

European Environment Agency’s home page

European Environment Agency’s home pagewww.eea.europa.eu图标

以指标形式展现国家情况的

Economic Data and Statistics on World Economy and Economic Freedomwww.heritage.org图标

一个和世界银行极其相似的,不过这个数据好像更新的很慢,虽然有比世界银行更精细的数据。

OECD Statisticsstats.oecd.org

来自FAO的数据库,在相关方面更加具体,而且一直在4年4年的更新

AQUASTAT databasewww.fao.org

又一个联合国的数据,感觉名字越短事情越大

UNdatadata.un.org

一个月度更新的数据库

Monthly Bulletin of Statistics Onlineunstats.un.org

img如图

Weather Spark,全球各个地方的典型气候数据库。有点强大

https://zh.weatherspark.com/zh.weatherspark.com

地球上任何地点的典型天气 - Weather Spark

地球上任何地点的典型天气 - Weather Sparkzh.weatherspark.com

img

img

img

对气象有兴趣的同学这个网站平时也是消遣的好去处。

又是联合国,更多的是以报告的形式呈现

https://www.unep-wcmc.org/resources-and-datawww.unep-wcmc.org

一个支持三种语言的数据库

Factfish世界统计和数据模拟计算www.factfish.com图标

img网站自己的介绍,虽然有的信息看上去好久没更新,不过大多数还是挺新,也挺真实的

一个全球经济情况的数据库

全球数据库www.ceicdata.com

一个和英国关系比较大的数据网站

Office for National Statisticswww.ons.gov.uk图标

这次美赛经历过后才发现有这么多数据库,那么多有趣的数据自己动动手就可以得到了。当然肯定还有很多专业性很强的数据库,但那些很多还是要权限,要收费的。不过这都可以理解,越宝贵的数据肯定越难获得,比较得到那些数据花费的功夫还是挺大的。

这些网站有的需要一些手段才能登陆,但这不是主要问题。希望以后大家查资料都能顺顺利利,嘿嘿。

还要再提一下,一定要留意 年报,年鉴,yearbook这种东西,妙不可言。很多专业都能从中获得到自己需要的各类信息!

也希望大家有什么有趣的数据网站可以在下面分享一下~

Part Two

暂且只打过经济类型的问题,这里有几个可以查询美国各个领域经济指标的网站:

登录olap.epsnet.com.cnhttps://www.ers.usda.gov/data-products/rice-yearbook/www.ers.usda.gov

U.S. Energy Information Administration (EIA)[www.eia.gov![图标]

(https://pic4.zhimg.com/v2-f972b03330ea9b189441d25ff1ddcc0f_180x120.jpg)

https://www.mql5.com/zh/economic-calendar/united-states

www.mql5.com经济统计指标 - MBA智库百科wiki.mbalib.com

Part Three

各国统计数据网站大全
中国国家统计局:
中国国民经济核算体系(2002)
http://www.stats.gov.cn/tjdt/gmjjhs/
中国国家统计局(统计标准)
http://www.stats.gov.cn/tjbz/
中国国家统计局(统计制度)
http://www.stats.gov.cn/tjzd/
中国国家统计局(统计数据)
http://www.stats.gov.cn/tjsj/
中国国家统计局(统计公报)
http://www.stats.gov.cn/tjgb/
中国国家外汇管理局(国际收支平衡表,国际投资头寸表、外汇储备、汇率等)
http://www.safe.gov.cn/model_safe/tjsj/tjsj_list.jsp












联合国统计处
http://unstats.un.org/unsd/default.htm
国民经济核算体系(SNA-1993)
http://unstats.un.org/unsd/sna1993/toctop.asp
综合环境经济核算(SEEA-2003)
http://unstats.un.org/unsd/envaccounting/seea.htm
投入产出表的编制和分析手册(Series F,No.74,1999)
http://unstats.un.org/unsd/methods.htm
国际货币基金组织
http://www.imf.org/
国际收支手册(BOP-1993)
http://www.imf.org/external/pubs/cat/longres.cfm?sk=157.0
国际收支手册第五版补编:衍生金融工具(2000)
http://www.imf.org/external/pubs/cat/longres.cfm?sk=3554.0
货币与金融统计手册(MFS-2000)
http://www.imf.org/external/pubs/ft/mfs/manual/chi/index.htm
政府财政统计手册(GFS-2001)
http://www.imf.org/external/pubs/ft/gfs/manual/chi/index.htm
国际清算银行(统计数据)
http://www.bis.org/statistics/index.htm
OECD国民核算资料
http://www.oecd.org/topicstatsportal/0,2647,en_2825_495684_1_1_1_1_1,00.html
欧盟统计局
http://epp.eurostat.cec.eu.int/portal/page?_pageid=1090,30070682,1090_30300608&_dad=portal&_schema=PORTAL






















各国统计机构:
美国商务部经济分析局(BEA,国民核算)
http://www.bea.gov/bea/dn1.htm
美国劳工统计局
http://www.bls.gov
加拿大统计局
http://www40.statcan.ca/l01/cst01/
英国统计局(国民核算指南)
http://www.statistics.gov.uk/CCI/nugget.asp?ID=55
英国银行(核算相关电子出版物)
http://www.bankofengland.co.uk/publications/quarterlybulletin/national.htm
法国国家统计经济研究所(核算数据更新)
http://www.insee.fr/en/indicateur/cnat_trim/cnat_trim.htm
德国联邦统计局(国民核算资料)
http://www.destatis.de/themen/e/thm_volksw.htm
爱尔兰中央统计办公室(核算数据)
http://www.cso.ie/statistics/nationalacc.htm
瑞典统计局(核算数据)
http://www.scb.se/templates/Amnesomrade____10979.asp
澳大利亚统计局(统计方法与标准)
http://www.abs.gov.au/websitedbs/d3310114.nsf/Home/Methods,%20Classifications,%20Concepts%20&%20Standards
新西兰统计局(统计方法与标准)
http://www.stats.govt.nz/statistical-methods/default.htm
日本社会经济研究所(国民核算数据)
http://www.esri.cao.go.jp/index-e.html#index03























Part Four 国内外灾害数据库汇总

与灾害相关的各类数据是进行灾害预测、灾情评估、灾后救援等工作的基础,国内外相关组织机构和部门对灾害数据库的建设非常重视,纷纷启动数据库建设项目,组织专门机构和人员开展灾害数据库建设工作。据统计,网上可检索到的灾害数据库就有40个,国外组织机构建设和维护的灾害数据库有26个,中国有14个(刘耀龙等,2008)。
国外尤其是发达国家特别重视灾害数据库建设及灾害数据信息共享,已建成的灾害数据库一般都可通过互联网进行访问。表1列出了15个国外主要的灾害数据库,包括联合国开发计划署(UNDP)、欧盟(EU)、世界卫生组织(WHO)、美国、日本、加拿大、澳大利亚和比利时等国际组织和国家组织建设的各类灾害数据库(含全球性的或本国内的)。美国对灾害数据库的建设贡献甚大,不仅建成了全球性的综合灾害数据库,还建成了包括海啸、地震等在内的各类专题灾害数据库。国外尤其是发达国家的灾害数据库在建设时就考虑到了数据共享的需要,在数量、可访问性到记录灾害种类(复合灾害群)、检索条件及查询结果等的设计上均有利于灾害信息在本国及国际范围的流通与共享,灾害数据库建设较为规范,灾害数据信息共享程度高。
在这里插入图片描述
在这里插入图片描述
从互联网上可以查到,我国已建成一批灾害数据库,但是这些数据库中灾害数据的标准不统一,数据来源的可靠性与广泛性有待商榷,数据管理范式,包括灾害特征类、字段名称、对应数据类型等规范的确定、典型的关系数据库结构应用与国际同类数据库不一致,互访与接轨中存在明显的不协调,难以实现有效共享。并且,已建成并在网上发布的这些灾害数据库一般是依托某个项目进行,数据的后续更新和维护不及时,甚至某些数据库中的数据截止某个时间后就再也没有更新,表2列出了国内8个主要灾害数据库的基本情况,其中大部分在线发布的数据已不再更新。



在这里插入图片描述
汶川地震发生后,中国水利水电科学研究院水环境研究所所长周怀东曾建议,我国应建立一个地震灾害的数据库,对灾后环境安全进行综合评估,并采取有效应对措施,称“数据库的建立对今后发生类似灾害时的预警预报很有帮助”。事实上,不仅灾害数据库自身的建立非常重要,与灾害相关的人口、经济等其它信息的建设,以及这些信息与灾害数据的有效集成与共享也非常重要。但是,与国外相比,国内灾害数据库建设和数据共享的标准化、规范化水平还比较低(刘耀龙等,2008),有必要尽快深入研究国际较通用的灾害数据库建设规范与标准,探讨灾害相关数据的共享方法。

Part Five 欧美相关统计数据

(一般美赛这里比较多)

http://www.census.gov/
美国统计局(统计调查局或普查局)官方网站
The Census Bureau Web Site provides on-line access to our data, publications, and products.
2、http://www.bls.gov/
美国劳工部
Official website of Bureau, with news, current data, articles, links and other information about employment, wages, working and the economy.
3、http://www.stat-usa.gov/
美国商务部的官方网站
Service of the US Department of Commerce provides market research and business data.
4、http://hermia.sourceoecd.org/vl=11336507/cl=72/nw=1/rpsv/factbook/
OECD的官方网站
5、http://www.usitc.gov/
美国国际贸易委员会
6
http://a257.g.akamaitech.net/7/257/2422/17feb20051700/www.gpoaccess.gov/eop/download.html
美国总统经济报告历年的的PDF文本下载,以及历年的有关数据下载,绝对权威,非常有用。
7
http://www.ustr.gov/Document_Library/Reports_Publications/2005/2005_NTE_Report/Section_Index.html
美国贸易谈判代表办公室官方网站,每年都有关于贸易壁垒的评估报告,可以下载。
8、http://www.eu.int/comm/trade/issues/bilateral/data.htm
欧盟对外贸易数据
9、http://europa.eu.int/comm/trade/issues/bilateral/countries/usa/index_en.htm
欧盟官方网站,本网页是关于欧盟与美国关系的,有数据可用
10、http://www.eurunion.org/
欧盟驻美国使团官方网站。有许多有关欧美经贸关系的文章和报道以及报告。
10、http://www.useu.be/
美国驻欧盟官方网站,和上面一个同样重要。
12、http://www.state.gov/p/eur/
美国国务院欧盟事务局官方网站,
13、http://www.usembassy.org.uk/euro300.html
美国驻英国大使馆官方网站
14、http://www.usinfo.org/chinese.htm
美国资讯网,是研究美国经济、文化、历史很好的一个网站,有很多美国经济方面的信息和资料。
15、http://www.eurunion.org/profile/facts.htm
欧盟与美国的贸易有关统计
16、
http://www.doc.gov/
美国商务部
17、
http://www.wto.org/
世界贸易组织
17、
http://www.usembassy.at/en/policy/us_eu.htm
美国驻奥地利大使馆(有很多有用的资料)
18、
http://www.usembassy.org.uk/trade.html
美国驻英国大使馆
19、
http://www.useu.be/Categories/Trade/Index.htm
一个特别有用的关于美国和欧盟关系的网站,资料颇多。
20、
http://tse.export.gov/ITAHome.aspx?UniqueURL=totktu55uoytvlzhfmzfft45-2005-5-29-21-28-55
美国进出口数据的非常好的一个网站
21、
http://www.usaexportimport.com/trade_and_economic_statistics.html
列举了很多有关美国贸易和经济数据查询的链接






















































Part Six

1.国外统计学网址

http://www.bloomberg.com/ 美国金融情报

http://www.bridge.com/ 美国金融brigle

http://www.math.yorku.ca/SCS/StatResource.html 统计学与统计绘图资源

http://www.lexjansen.com/index.htm Lex Jansen个人主页(SAS SUGI pdf论文)

http://netec.wustl.edu/WoPEc.html 经济论文集

http://home.okstate.edu/homepages.nsf/toc/…rialsstatistics 统计学指南

http://www2.chass.ncsu.edu/garson/pa765/statnote.htm G. David Garson的在线教材

http://www.astro.psu.edu/statcodes/sc_multvar.html 多变量分析与分类

http://www.rdg.ac.uk/~sns99kla/links.html 统计遗传学网址

http://fisher.osu.edu/fin/journal/jofsites.htm Finance Site List

http://ubmail.ubalt.edu/~harsham/stat-data/opre330.htm 统计学数据分析问题

http://www.richmall.com.tw/newrich/explain…ID=E_01&sTYPE=G 理财精算网

http://www.animatedsoftware.com/statglos/statglos.htm 统计基本用语

http://www.stats.gla.ac.uk/steps/glossary/index.html Statistics Glosary

http://cortex.med.nihon-u.ac.jp/department…/ebm/gloss.html Evidence Based Medicine

http://www.mailbase.org.uk/lists/exact-sta…es/glossary.txt stat

http://www.windsor.igs.net/~nhodgins/desig…d_analysis.html 実験计划法

http://espse.ed.psu.edu/espse/hale/507Mat/…al/glossary.htm Glossary of Terms

http://www.ee.ic.ac.uk/hp/staff/dmb/matrix/intro.html Matrix Reference Manual

http://www.stat.ucla.edu/cases/ UCLA Statistics Case Studies

http://bayes.stat.washington.edu/diagnoser…/diagnoser.html DIANA

http://www.dartmouth.edu/%7Echance/chance_…_news/news.html Chance Case

http://www.stats.gla.ac.uk/steps/home.html STatistical Education

http://smard.cqu.edu.au/Database/index.html SMARD Database

http://davidmlane.com/hyperstat/index.html HyperStat Online Textbook

http://www.anu.edu.au/nceph/surfstat/surfs…e/surfstat.html Surfstat

http://vassun.vassar.edu/~lowry/webtext.html 手计算の分散分析说明

http://www.stat.ufl.edu/vlib/jobs.html 美国统计找工作(job chance)

http://www.stat.ucla.edu/ UCLA Stat

http://www.psych.yorku.ca/lab/ 重回帰と実験计划法。

http://psych.colorado.edu/~mcclella/statistics.html Data Analysis: A Model Comparison Approach

http://www.apa.org/journals/amp/amp548594.html Leland Wilkinson and Task Force

http://psychclassics.yorku.ca/Rozeboom/ THE NULL-HYPOTHESIS SIGNIFICANCE TEST

http://www.apa.org/science/tfsi.html APA 研究法

http://trochim.human.cornell.edu/kb/contents.htm Research

http://www.surveysystem.com/sdesign.htm suavery

http://www.spc.univ-lyon1.fr/~mcu/ma/index.html 文献list

http://www.pitt.edu/~wpilib/statfaq/bootfaq.html

http://qed.econ.queensu.ca/pub/faculty/mackinnon/ bootstrap 関系论文

http://www.stat.duke.edu/courses/Spring02/…labs/SPlus.html S-PLUS使用。

http://www.psychologie.uni-freiburg.de/hyp…/hyperstat.html 、分散分析

http://www.bioinf.uni-hannover.de/mcp_home/meetings/ MCP

2.国内统计学网址

www.stats.gov.cn 中国统计信息网

http://www.8sta.com 中国统计网

http://www.lianshu.com/ 联数工作室(统计软件)

http://www.sasor.com/ SAS爱好者

http://www.statforum.com/ 数理统计论坛

http://home.kimo.com.tw/g894730/ 统计生活馆(台湾,论坛、统计教学等丰富内容)

http://estat.ncku.edu.tw/ 统计在线学习馆(台湾,论坛、统计教学等丰富内容)

http://probstat.nuk.edu.tw/ 概率统计在线学习馆(台湾, 教学)

http://www.math.nsysu.edu.tw/NSC_prob/ 概率学习馆(台湾, 教学)

http://ibm9.math.nsysu.edu.tw/StatDemo/ 互动式统计教学(台湾, 教学)

http://140.128.104.155/wenwei/thesis/jj1.htm 多媒体互动式在线统计教学(台湾)

http://stat.ustc.edu.cn/ 中国科学技术大学统计与金融系(数理统计、软件下载)

http://www.applstats.org.cn/ 中国应用统计网(人大应用统计科研所)

http://stats.xmu.edu.cn/info/default.asp 中国经济统计(统计资源)

http://www.china-actuary.com/default.asp 中国精算网

http://tjjy.hzic.edu.cn/index.asp 统计精英网 (杭州商学院,经济统计 )

http://www.fengsb.com/index.asp 研究人员之家——实验设计&数据分析

http://www2.zzu.edu.cn/spq6 数据处理&实验设计(包括ppt教案、软件等)

http://www.riskage.com 风险时代

http://ysdxf.myetang.com/ 复旦计量经济小站

http://www.dmgroup.org.cn/ 数据挖掘讨论组

http://www.psychapeo.com/ 心理学进取之路

http://bahoo.59i.net/ 或www.szbayy.com/bahoo BAHOO制作

http://go.6to23.com/zhaofulin/ 或 http://zhaofl.126.com/ 预防医学工作者之家

http://www.biocc.net/statistics.htm 生物统计与统计遗传学(哈医大医用数学与生物信息研究室)

http://www.excelhome.net/ Excel之家(含论坛、教程、趣味题等)

  1. 统计相关杂志

http://zhlxbx.periodicals.net.cn/default.html 中华流行病学杂志

http://zhyfyx.periodicals.net.cn/default.html 中华预防医学杂志

http://zhyx.periodicals.net.cn/default.html 中华医学杂志

http://zgwstj.periodicals.net.cn/default.html 中国卫生统计

http://zgyytj.periodicals.net.cn/default.html 中国医院统计

http://slyyxzz.periodicals.net.cn/default.html 数理医药学杂志

http://xdyfyx.periodicals.net.cn/default.html 现代预防医学

http://sltjygl.periodicals.net.cn/default.html 数理统计与管理

http://sltjyyygl.periodicals.net.cn/default.html 数理统计与应用概率

http://www.periodicals.net.cn/qikan.asp?codeID=R 各种国内医药卫生期刊(按英文字母顺序排列)

4 软件

http://www.stata.com/links/stat_software.html 统计软件

http://www.download.com 软件下载

http://www.oswego.edu/~economic/econsoftware.htm 计量经济学软件

http://www.sas.com/ SAS

http://www.jmp.com JMP(SAS公司推出的极富有市场潜力的点菜单交互式软件)

http://www.spss.com SPSS

http://www.mathsoft.com/splus S-Plus

http://www.stata.com/ Stata

http://www.statsoft.com Statistica

http://www.systat.com/ SYSTAT

http://multilevel.ioe.ac.uk/index.html Mul(多水平模型)

http://www.mrc-bsu.cam.ac.uk/bugs WinBUGS1.4(免费软件,贝叶斯方法)

Part Seven

全球及各国重要数据网站集锦
1、 国际股票交易所联盟:http://www.fibv.com
网站: http://www.world-exchanges.org/
数据:提供年度、月份、1990年以来的时间序列数据
2、 数字世界:
网站:http://www.worldinfigures.org/
数据:实体经济和虚拟经济股票、债券交易量以及市场价值。
3、 世界银行数据库:(select)
网站:http://www.worldbank.org/data/
数据:全球宏观实体经济数据
4、 世界发展指标
网站:http://genderstats.worldbank.org/dataonline/
数据:全球宏观经济数据
5、 世界银行中文版:
网站:http://www.worldbank.org.cn/Chinese
数据:全球经济发展展望和金融发展报告
6、 IFS数据库:(select)
网站:http://ifs.apdi.net/imf/
数据:实体经济(GDP、投资)CPI、货币供应量等。
7、 联合国统计网:
网站:http://unstats.un.org/unsd/default.htm
数据:全球报告国家经济数据
8、 国际清算银行:
网站:http://www.bis.org/statistics/index.htm
数据:债券(国际债券、国内债券)、国际股票、衍生品未清偿合约的名义数额和总市场价值(OTC、交易所)。
9、 全球金融数据网
网站:http://www.globalfindata.com/
数据:部分免费金融数据
10、 美国联邦储备局:
网站:http://www.federalreserve.gov/Releases/
数据:美国金融部门时间序列数据
11、 OECD数据库
网站:http://www.oecd.org/document/61/0,2340,en_2649_37451_2483901_1_1_1_37451,00.html
数据:G10国家数据
OECD Health Data web site: www.oecd.org/health/healthdata
12、 全球金融稳定报告—市场发展与问题
网站:http://www.imf.org/external/pubs/ft/gfsr/
数据:本报告2002年3首次发行,替代了原有的全球资本市场年度报告和新兴金融市场季度报告。
13、 世界经济展望数据库
网站:http://www.imf.org/external/pubs/ft/gfsr/
数据:全球实体经济数据
14、 美国商业部门经济分析局
网站:http://www.bea.gov/
数据:美国和部分国际数据
15、 YAHOO金融
网站:http://finance.yahoo.com/
数据:全球股票交易指标
16、 公司金融数据库
网站:http://pages.stern.nyu.edu/~adamodar/
数据:美国、欧洲以及部分新兴市场、亚洲国家企业金融数据
17、 债券市场
网站:http://www.bondmarkets.com
数据:美国及全球部分公司、政府债券交易数据
18、 世界经济统计资料:
网站:http://www.investchina.com.cn/ch-sjjj/ziliao.htm
数据:全球实体经济与股市和债券交易量
19、 日本统计年鉴
网站:www.stat.go.jp/english/data/nenkan/index.htm
数据:日本宏观经济数据
20、 中国统计年鉴
网站:http://www.huang9.nease.net/images/jianding.htm
数据:中国宏观经济数据
21、 联邦储备存款保险公司
网站:http://www.fdic.gov
数据:美国各类大小银行数据
22、 美国劳工部
网站:http://www.bls.gov/data/home.htm
数据:美国实体经济主要数据指标
23、 中经专网
网站:http://211.81.31.53:88/index/index.asp
数据:中国宏观经济数据和地区数据
24、 经济数据
网站:http://www.gse.pku.edu.cn/yearbook/dataset/index_data.htm
数据:中国与全球宏观经济与金融数据库
25、 财经数据库
网站:http://www.bjinfobank.com/
数据:全国与地区经济数据
26、 世界经济统计资料
网站:http://www.china.org.cn/ch-sjjj/ziliao.htm
数据:国内整理的世界经济数据
27、 中国经济门户网
网站:http://www.egate2china.com/chinese/hongguan/yuce.html
数据:中国宏观经济与金融数据
28、 南开大学政治经济学研究中心
网站:http://202.113.23.39/ziliao.htm
数据:金融年鉴
29、 中国统计年鉴(1996-2003)
网站:http://huang9.nease.net/images/jianding.htm
30、 中国人民银行
网站:http://www.pbc.gov.cn/baogaoyutongjishuju/
数据:货币供应、银行资产
网站:http://www.cfachina.org/statistic/index.php?id=1
数据:中国期货交易数据



























































































Part eight

常见数据收集网站:

一.由简单和通用的数据集开始

1.data.gov( https://www.data.gov/ )
这是美国政府公开数据的所在地,该站点包含了超过19万的数据点。这些数据集不同于气候、教育、能源、金融和更多领域的数据。

2.data.gov.in( https://data.gov.in/ )
这是印度政府公开数据的所在地,通过各种行业、气候、医疗保健等来寻找数据,你可以在这里找到一些灵感。根据你居住的国家的不同,你也可以从其他一些网站上浏览类似的网站。

3.WorldBank( http://data.worldbank.org/ )
世界银行的开放数据。该平台提供 Open Data Catalog,世界发展指数,教育指数等几个工具。

4.RBI( https://rbi.org.in/Scripts/Statistics.aspx )
印度储备银行提供的数据。这包括了货币市场操作、收支平衡、银行使用和一些产品的几个指标。

5.Five ThirtyEight Datasets ( https://github.com/fivethirtyeight/data )
Five Thirty Eight,亦称作 538,专注与民意调查分析,政治,经济与体育的博客。该数据集为 Five ThirtyEight Datasets 使用的数据集。每个数据集包括数据,解释数据的字典和Five ThirtyEight 文章的链接。如果你想学习如何创建数据故事,没有比这个更好。

二.大型数据集

1.Amazon WebServices(AWS)datasets
( https://aws.amazon.com/cn/datasets/ )
Amazon提供了一些大数据集,可以在他们的平台上使用,也可以在本地计算机上使用。您还可以通过EMR使用EC2和Hadoop来分析云中的数据。在亚马逊上流行的数据集包括完整的安然电子邮件数据集,Google Booksn-gram,NASA NEX 数据集,百万歌曲数据集等。

2.Googledatasets
( https://cloud.google.com/bigquery/public-data/ )
Google 提供了一些数据集作为其 Big Query 工具的一部分。包括 GitHub 公共资料库的数据,Hacker News 的所有故事和评论。

3.Youtubelabeled Video Dataset
( https://research.google.com/youtube8m/ )
几个月前,谷歌研究小组发布了YouTube上的“数据集”,它由800万个YouTube视频id和4800个视觉实体的相关标签组成。它来自数十亿帧的预先计算的,最先进的视觉特征。

四.预测建模与机器学习数据集

1.UCI MachineLearning Repository
( https://archive.ics.uci.edu/ml/datasets.html )
UCI机器学习库显然是最著名的数据存储库。如果您正在寻找与机器学习存储库相关的数据集,通常是首选的地方。这些数据集包括了各种各样的数据集,从像Iris和泰坦尼克这样的流行数据集到最近的贡献,比如空气质量和GPS轨迹。存储库包含超过350个与域名类似的数据集(分类/回归)。您可以使用这些过滤器来确定您需要的数据集。

2.Kaggle
( https://www.kaggle.com/datasets )
Kaggle提出了一个平台,人们可以贡献数据集,其他社区成员可以投票并运行内核/脚本。他们总共有超过350个数据集——有超过200个特征数据集。虽然一些最初的数据集通常出现在其他地方,但我在平台上看到了一些有趣的数据集,而不是在其他地方出现。与新的数据集一起,界面的另一个好处是,您可以在相同的界面上看到来自社区成员的脚本和问题。

3.AnalyticsVidhya
(https://datahack.analyticsvidhya.com/contest/all/ )
您可以从我们的实践问题和黑客马拉松问题中参与和下载数据集。问题数据集基于真实的行业问题,并且相对较小,因为它们意味着2 - 7天的黑客马拉松。

4.Quandl
( https://www.quandl.com/ )
Quandl 通过起网站、API 或一些工具的直接集成提供了不同来源的财务、经济和替代数据。他们的数据集分为开放和付费。所有开放数据集为免费,但高级数据集需要付费。通过搜索仍然可以在平台上找到优质数据集。例如,来自印度的证券交易所数据是免费的。

5.Past KDDCups
( http://www.kdd.org/kdd-cup )
KDD Cup 是 ACM Special Interest Group 组织的年度数据挖掘和知识发现竞赛。

6.DrivenData
( https://www.drivendata.org/ )
Driven Data 发现运用数据科学带来积极社会影响的现实问题。然后,他们为数据科学家组织在线模拟竞赛,从而开发出最好的模型来解决这些问题。

三.图像分类数据集

1.The MNISTDatabase
( http://yann.lecun.com/exdb/mnist/ )
最流行的图像识别数据集,使用手写数字。它包括6万个示例和1万个示例的测试集。这通常是第一个进行图像识别的数据集。

2.Chars74K
(http://www.ee.surrey.ac.uk/CVSSP/demos/chars74k/ )
这里是下一阶段的进化,如果你已经通过了手写的数字。该数据集包括自然图像中的字符识别。数据集包含74,000个图像,因此数据集的名称。

3.Frontal FaceImages
(http://vasc.ri.cmu.edu//idb/html/face/frontal_images/index.html )
如果你已经完成了前两个项目,并且能够识别数字和字符,这是图像识别中的下一个挑战级别——正面人脸图像。这些图像是由CMU & MIT收集的,排列在四个文件夹中。

4.ImageNet
( http://image-net.org/ )
现在是时候构建一些通用的东西了。根据WordNet层次结构组织的图像数据库(目前仅为名词)。层次结构的每个节点都由数百个图像描述。目前,该集合平均每个节点有超过500个图像(而且还在增加)。

四.文本分类数据集

1.Spam – NonSpam
(http://www.esp.uem.es/jmgomez/smsspamcorpus/)
区分短信是否为垃圾邮件是一个有趣的问题。你需要构建一个分类器将短信进行分类。

2.TwitterSentiment Analysis
(http://thinknook.com/twitter-sentiment-analysis-training-corpus-dataset-2012-09-22/)
该数据集包含 1578627 个分类推文,每行被标记为1的积极情绪,0位负面情绪。数据依次基于 Kaggle 比赛和 Nick Sanders 的分析。

3.Movie ReviewData
(http://www.cs.cornell.edu/People/pabo/movie-review-data/)
这个网站提供了一系列的电影评论文件,这些文件标注了他们的总体情绪极性(正面或负面)或主观评价(例如,“两个半明星”)和对其主观性地位(主观或客观)或极性的标签。

五.推荐引擎数据集

1.MovieLens
( https://grouplens.org/ )
MovieLens 是一个帮助人们查找电影的网站。它有成千上万的注册用户。他们进行自动内容推荐,推荐界面,基于标签的推荐页面等在线实验。这些数据集可供下载,可用于创建自己的推荐系统。

2.Jester
(http://www.ieor.berkeley.edu/~goldberg/jester-data/)
在线笑话推荐系统。

六.各种来源的数据集网站

1.KDNuggets
(http://www.kdnuggets.com/datasets/index.html)
KDNuggets 的数据集页面一直是人们搜索数据集的参考。列表全面,但是某些来源不再提供数据集。因此,需要谨慎选择数据集和来源。

2.Awesome PublicDatasets
(https://github.com/caesar0301/awesome-public-datasets)
一个GitHub存储库,它包含一个由域分类的完整的数据集列表。数据集被整齐地分类在不同的领域,这是非常有用的。但是,对于存储库本身的数据集没有描述,这可能使它非常有用。

3.RedditDatasets Subreddit
(https://www.reddit.com/r/datasets/)
由于这是一个社区驱动的论坛,它可能会遇到一些麻烦(与之前的两个来源相比)。但是,您可以通过流行/投票来对数据集进行排序,以查看最流行的数据集。另外,它还有一些有趣的数据集和讨论。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章