云计算与大数据

1 云计算初相识

云计算一直都被认为是一种被商业炒作出来的计算机概念,所以每当提到云计算的时候我们都会不由的觉得这个概念很模糊,而且现在有关云计算的概念也是众说纷纭。听了很多有关云计算的讲座,并且也阅读了一些相关的数据我对云计算也有了一点自己的见解。

云计算虽然是有商业炒作的成分,但是云计算的概念的提出也有其必然性,云计算是一种能够将动态伸缩的虚拟化资源通过互联网以服务的方式提供给用户的计算模式,用户不需要知道如何管理那些支持云计算的基础设施。

云计算是并行计算、分布式计算和网格计算的融合和发展,从某种角度,也可以说是计算机科学概念的发展和商业实现;云计算也是虚拟化、效用计算、面向服务的架构等概念混合演进的结果。

云计算可以认为包括以下几个层次的服务:基础设施即服务(IaaS),平台即服务(PaaS)和软件即服务(SaaS)。

IaaS:基础设施即服务

IaaS(Infrastructure-as-a-Service):基础设施即服务。消费者通过Internet可以从完善的计算机基础设施获得服务。例如:硬件服务器租用。

l  PaaS:平台即服务

PaaS(Platform-as-a-Service):平台即服务。PaaS实际上是指将软件研发的平台作为一种服务,以SaaS的模式提交给用户。因此,PaaS也是SaaS模式的一种应用。但是,PaaS的出现可以加快SaaS的发展,尤其是加快SaaS应用的开发速度。例如:软件的个性化定制开发。

l  SaaS:软件即服务

SaaS(Software-as-a-Service):软件即服务。它是一种通过Internet提供软件的模式,用户无需购买软件,而是向提供商租用基于Web的软件,来管理企业经营活动。Google Docs是Google公司推出的在线文档服务,Google在Docs中整合了自由的Spreadsheets在线电子表格服务于收购Writely.com的在线文档编辑服务,此外,Docs还包含了演示文档服务。目前Google Docsqiye 用户数量已经突破了200万。如何管理公司的文档估计是个永远的话题,办公软件也要不停的购买,光是微软office已经不能满足应用了,今天客户需要一个图,马上就得下载Phoshop,可能明天就会用到AutoCAD。现在有了Google Docs,就不用那么麻烦了,再也不需要安装任何程序,只要能上网,登录服务器后就可以随时随地使用各种软件了。顾客就是上帝的道理人人都明白,但是顾客有时候真的很让人抓狂,不停的转换思路和要求,好不容易写好的文档又要不停的修改。有了Google Docs之后,不需要一遍一遍的发新版本给老总了。

云计算发源于搜索引擎平台,互联网企业在创业阶段出于追求低成本高效能的考虑开发出一种计算技术,目前已成为提供各种互联网服务的重要平台,目前,某些企业也把以虚拟化技术为基础提供的IT资源服务包装秤“云计算”。

提到云计算人们总是会说到它的如下优点:

l  快速满足业务需求

企业用户可以直接通过网络购买服务,省掉了购买软硬件和开发的环节,企业也不需要将精力放在该购买什么设备,该怎么布线,什么时候应该更新软件这些和业务完全不相干的事情上了,所有的时间和精力都可以放到业务中去。

l  灵活可扩展

与计算提供的资源是弹性可扩展的,可以动态部署、动态调度、动态回收,以高效的方式满足业务发展和平时运行分值的资源需求。

l  低成本、绿色节能

云计算以PC集群分布式处理方式替代小型加盘阵的处理方式,可有效的降低建设成本。

l  集中化管理

云计算采用虚拟化技术设得扩系统的物理资源统一调配、集中运维成为可能。

l  维护专业化

服务器和存储资源池的专业管理,使维护人员可以专注于特定领域的运维,有助于提高运维质量。

上面的这些优点使得云计算变成一个非常诱人的概念,实际上它的所有的优点都是基于它的基础是一个集群,集群的可扩展,可管理和低成本和节能。我有一个奇怪的想法,云计算的出现与大数据时代的到来有着不可分割的联系,我分不清到底是大数据的出现助力了云计算概念的提出,还是云计算的概念出现激发了大数据的欣欣向荣。

2 大数据时代的到来

大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、veracity(真实性)。互联网拥有如此庞大的用户数,特别是web2.0出现之后,所有的网民都是网络内容的提供者。随着网络数据的激增,“信息爆炸”成为了一个非常棘手的问题。

据英国学者詹姆斯.马丁统计,人类知识的倍增周期,从19世纪的50年减少到80年代5年左右。还有报告说,全球印刷信息的生产量每5年翻一番,纽约时报一周的信息量即相当于17世纪学者毕生能够接触到的信息量的总和。近30年来,人类上传的信息以及超过过去5000年信息生产的总和。其实,探究起来,人类社会赖以生存发展的三大基础是物质、能量和信息。根据美国易安信赞助、IDC的题为《经济紧缩,数字宇宙膨胀》的研究报告显示,2008年全球所创造出的数字信息比IDC原先预测的数字化的信息全部印成数并排列整齐,它们的长度将是从地球到冥王星距离的10倍。展望未来这个数字有望没18个月翻一番。

数据量越来越多,之前的很多算法不能很好地工作,我们要如何来应付爆炸式的增长的数据呢?我们不经要问,计算机硬件的发展使得CPU的运算速度越来越快,我们是否需要担心数据量大带来的问题呢?

答案显然是需要担心,虽然有摩尔定律的支撑,但是随着芯片上晶体管数目的增多,很多问题也会随之到来。芯片上元件的集合尺寸总不可能无限地缩小下去,这就意味着总有一天,芯片单位面积上可集成的元件数量会达到极限。极限总有一天会到来。也就是我们不能依靠物理芯片的发张来解决处理大数据的问题。这时候聪明的人类自然不会束手就擒,有很多优秀的企业已经找到了解决方案。

2.1 一个故事一个解决方案

现在我们先来看一个有趣的故事。

1998年9月,24岁的布林和25岁的佩奇决定合伙开个公司,公司提供的唯一服务就是搜索引擎。在对商业计划一无所知的情况下,布林从一位斯坦福校友那里顺利地拿到了第一笔投资:10万美元,在朋友的一个车库里,布林和佩奇开始了开创Google的征程。穷学生没有大钱买很贵的服务器,于是他们就买了很多便宜的个人电脑和便宜的小容量硬盘。但是这些便宜的器械的正确性无法得到保证,你不可能期待它们个个都能够稳定可靠。于是他们决定写一个容错程序来保证系统的可靠性。到2000年的时候他们已经拥有了几千台这样的服务器,他们利用网络将这些电脑连接起来,利用自己写的软件来操作整个网络中的所有电脑,这些连在一起的集群是他们向外提供服务的基础设施。这也许就是“云计算”的雏形。

总的来说,随着互联网的发展,web2.0的浪潮使得大众可以参与信息制造和编辑,从而导致信息增长具有无限性的趋势。而摩尔定律的终结,使得在技术上和经济上都没有办法依靠硬件性能的提升而解决这一问题。怎么样低成本的高效快速解决无限增长的信息存储和计算问题是一个摆在科学家面前的命题。云计算是采用大规模低成本计算单元通过IP网络相连而组成的运算系统已提供运算服务技术。它具有高性能、低成本、通用性强的特点。所以说,云计算回答了这样的科学问题,那就是可以以较低成本和较高性能解决无限增长的海量信息的存储和计算的问题。他使得IT基础设计能够实现资源化和服务化,使得用户可以按需定制。从而改变了传统IT基础设施的交用和支付方式。

2.2 大数据与云计算的千丝万缕联系

Google和百度等公司要为客户提供信息检索平台,每天都有无数的数据产生,每天都有无数的请求带来,那么如果没有一个快速稳定的计算平台来处理这些数据,那么搜索引擎必然将瘫痪。

快速的将海量的数据存储到服务器中,为海量的数据建立索引都是一项非常有挑战性的工作,如果仅仅使用大型的服务器来做这些工作,效率还是不够的,即便再好的服务器,它的计算能力也是有限的,但是云计算平台的可扩展性,多台机器一起协调合作就能够将对大数据的处理时间控制在可以接受的范围内。

大数据就是互联网发展到现今阶段的一种表象特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。

其次,想要系统的认知大数据,必须要全面而细致的分解它,我着手从三个层面来展开:

第一层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术,技术是大数据价值体现的手段和前进的基石。分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践,实践是大数据的最终价值体现。可以分别从互联网的大数据,政府的大数据,企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

云计算助力实现创业梦

云计算不仅仅是技术,它更是一种商业运营模式。云计算可以帮助年轻人降低创业门槛儿专注于互联网服务本身的创新,从而让普通的年轻人可以发家致富,梦想成真。

下面讲一个故事来说明云计算对于创业的飞天助力。

2006年8月,一家名为Animoto的小公司在纽约悄然成立。其创始人斯迪维克里夫顿是一个刚从大学毕业不久的年轻人,他热衷于拍照和进行照片处理他看到人们都把旅行中拍摄的照片编辑成Flash短片的需求,于是和几个年轻人一起在几台服务器上完成了一个机遇网络的视屏展示服务平台。通过这个平台,可以可以上传他们的图片和音乐并自动生成定制的视屏,同时可以和他们的朋友分享这些视频。

公司创建之初,他们都把这几台服务器放在办公室里,当时,每天的访问量大概是5000左右。这几台服务器,恰能分担这些负载。所以斯迪维他们这几个管理经营者的日子过得优哉游哉。他们的商业模式主要是后向广告收费,也偶有部分服务是向互联网用户进行前向收费,比如有些用户想得到全尺寸的视频光盘,或者希望制作更长时间的视频,或者是获得相关的冲印照片和制作服务,这就需要用户在获得服务前支付一些费用。

2008年四月中旬,Facebook社区热门推荐了Animoto的这个应用给他的成员,这使得用户对这个应用产生的兴趣出现了一个小小的高潮,三天时间里有约75万人在Animoto网站上进行了注册。在高峰期,每小时约有两万人使用该服务。如此快速的用户增长反而给Animoto带来了灾难,他们那几台服务器因为不堪重负而纷纷宕机,史迪威他们几个忙得不可开交,焦头烂额。由于并发用户数太多,该互联网应用的响应速度也慢如蜗牛,于是Facebook社区对其恶评如潮。

创办公司的几个年轻人为了应付突增的访问量,必须将原始的服务器扩展为原来的100倍,但是史蒂维等年轻人没有资金来购买如此之多的服务器,再加上他们也没有技术和能力去运营和管理这么多的服务器。

刚好史蒂维的大学同学迈克尔雪中送炭。迈克尔看到了亚马逊弹性云的巨大潜力,在加利福尼亚圣塔芭芭拉创办了一家叫做RightScale的科技创新公司,专门为亚马逊的云计算设计应用软件。迈克尔告诉史蒂维:“你根本没有必要购买自己的服务器和存储设备,你可以租用亚马逊的弹性计算云或者亚马逊的简单存储服务来实现你的这个应用需求,并且这些IT资源的租用相当便宜。我的公司可以帮助你把现有的互联网应用移植到亚马逊的弹性计算云上。”

通过这个合作,Animoto只需为应付三天的流量激增付费,并且不需要购买或者配置任何新的服务器。它把负载交给亚马逊承担,一台服务器一小时的费用只有约10美分,包含了带宽、存储和相关服务带来的一些边际成本。

从上面讲述的这个真实的例子我们可以看到云计算确实可以帮助很多年轻人比较轻松的实现自己的创业梦想,有了云计算的帮助我们的创业门槛明显的下降了,我们可以不用担心资金和IT技术所带来的烦恼,我们要做的最主要的事就是将精力都放在业务逻辑的处理和分析上。这对于年亲人来说无疑是一个非常好的消息。

这里借用《云计算深刻改变未来》的一段话来结束我的文章。

山雨欲来“云”满楼。伴随着经济萧条和金融危机,我们将面临一次新的技术革命的山雨欲来,而云计算势必会成为这一新的技术革命的主角。每一次技术革命都会诞生和成长起一批世界级的优秀公司。发生在二十世纪八九十年代的个人计算机技术革命,主力了微软、惠普、戴尔、甲骨文、SAP、联想、方正、同方等一批优秀公司的诞生和成长;在90年代记近十年来的互联网技术革命浪潮中,催生和成长了一批像思科、雅虎、google、亚马逊、ebey、新浪、网易、百度、阿里巴巴这样优秀的公司;面对发生在当下的以云计算为主角的又一次技术革命,我相信会有更多的中国企业抓住机遇,迎头猛进,成长为世界级的优秀公司。我们政府官员,更应该在这样的机会下,在政策层面,为这些公司的成长给予支持和鼓励。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章