如何迅速成为一名数据分析师?

数据分析最重要的可能并不是你熟悉的编程工具、分析软件,或者统计学知识,而是清楚你所使用的统计知识(统计学、计量、时间序列、非参数等等)背后的原理、假设及其局限性,知道各种数据分析工具(例如数据挖掘)能带来什么,不能带来什么,看到一组统计检验的结果你能言说什么,不能言说什么。

这一切的背后,需要一套完整的「科学」逻辑框架,让你了解自己手中的工具的本质,你才能从数据中「正确地」发现有效的信息,而不是胡乱地使用一大堆自己都搞不清楚的工具来堆砌分析结果,这样得到分析结果不仅无用,而且有害。

知道了这些后,希望成长为「数据分析师」,就需要着手训练自己的能力和洞察力。既然是「数据分析师」,那就分别从「数据」和「分析」两方面入手。

「数据」当然包含了数据收集、处理、可视化等内容,每个环节对于最后的结果都有关键性的影响。其中涉及的技术性内容只是一部分而已,更重要的是你要理解数据收集(是否存在采样偏差?如何纠正或者改进?)、处理(是否有漏洞或异常情况没有考虑?)背后的逻辑。

例如:如果分析股票数据用于设计交易策略,那么你不仅需要明白数据处理本身的问题,还要清楚金融市场的基本知识。例如,使用股票价格时,到底要用收盘价,还是复权价;复权价的话要用前复权价还是后复权价。这些选择与数据分析没有太大的关系,纯粹决定于你分析的目的是什么。因此你要充分了解这些概念背后的逻辑、动机是什么,才能正确地根据自己的目的作出选择。

数据可视化更多的是一门艺术:如何把信息以最恰当的方式呈现给希望获得这些信息的人。首先,你要充分理解这些信息究竟是什么,有什么特点,你才能较为恰当的选择采用的可视化工具。

另外一部分就是「分析」。当然就是各种分析模型,还是需要了解这些模型背后的逻辑,要放到整个项目的上下文中去看,而不是单纯地在模型中看。

总而言之,「理解」数据以及其中的信息是非常重要的,这决定了你的分析和呈现的方法是否合适,决定了最后的结论是否可靠。

现在可以回答题主的问题了:成长为一个数据分析师,要注意「理解」你的知识,形成一个系统,而不是像机器人一样机械地胡乱套用模型。在这个理念下训练你的编程能力,了解你所分析对象的原理和尽可能多的细节。在这个基础上,才能谈数据分析。

想从事大数据工作,如何自学打基础

本文将介绍几本书籍,供各位想从事大数据、海量数据处理相关的工作的同学学习。

大数据

海量数据分成两块,一是系统建设技术,二,海量数据应用。

先说系统建设,现在主流的技术是HADOOP,主要基于mapreduce的分布式框架。目前可以先学习这个。但是我的观点,在分布式系统出来之前,主要是集中式架构,如DB2,oracle。为什么现在用分布式架构,那是因为现在集中式架构受限于IO性能,出来速度慢,如果又一种硬件技术,可以很快地处理海量数据,性能上能满足需求,那么集中式架构优于分布式架构,因为集中式架构稳定,运维压力小。现在的集中式架构要么性能达不到要求,要么就是过于昂贵。我期待一种技术出现,可以非常快地传输和处理数据,那么集中式架构将再次进入人们眼球。再说海量数据应用。海量数据应用主要是数据挖掘和机器算法。具体有不同的应用场景,如个性化搜索和推荐,社交网络发现,精准营销,精准广告,实时最优路径,人工智能等等。看你想做系统支撑技术还是与业务结合的应用技术。

如果现在学系统建设技术,可以读下如下书籍:

系统建设技术书籍

如果学数据挖掘和机器算法,推荐先看数据挖掘导论,统计分析原理,Mahout,R,MATLAB



发布了11 篇原创文章 · 获赞 13 · 访问量 17万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章