1。大数据时代来临的因素:
1.1信息浪潮
1.第一次 1980 PC机 解决问题:信息处理 代表企业 :Intel AMD IBM
2.第二次 1995 互联网 解决问题:信息传输 代表企业:雅虎,谷歌 BAT
3.第三次 2010 物联网、云计算、大数据 解决问题:信息爆炸 代表企业 亚马逊、谷歌、Cloudera、阿里云等
1.2信科技为大数据时代提供技术支撑
1.存储设备容量增加(DVD光盘为例。将来可以 1DVD容量 10^6GB
2.CPU处理能力提升
3.网络带宽增加
1.3数据产生方式的变革促成大数据时代的来临(数据产生阶段)
1.运营式系统阶段
2.用户原创内容阶段
3.感知系统阶段
1.4大数据发展历程
1.萌芽期 20世纪90年代 -21世纪初 数据库技术成熟和数据挖掘理论
2.成熟期 21世纪前10年 web2.0应用发展,非结构化数据大量产生,Hadoop平台MapReduce技术
3.大规模应用 2010年后 数据驱动决策,信息社会智能化程度
2 大数据的概念
4V Volume 数据量大 Variety 数据类型繁多 Velocity 处理速度快 Value 价值密度低
2.1 数据量大
1ZB=1024EB 1024PB 1024TB 1024GB 1024MB 1024KB 1024Byte 8bit
大数据以每年50%的速度在增长,也就是说每两年就增加一倍,这被称为“大数据摩尔定律”
2.2 数据类型繁多
10%存储在关系型数据库中,90%存储在非关系型数据库中
2.3 处理速度快
2.4 价值密度低
3 大数据的影响
人类科学研究经历四种模式:
1.实验科学
2.理论科学
3.计算科学
4.数据密集型科学
思维的转变:
1.全面而非抽样
2.效率而非精确
3.相关而非因果
大数据计算模式
1.批处理计算
2.流计算
3.图计算
4.查询分析计算
大数据与云计算和物联网
大数据: 4V Volume 数据量大 Variety 数据类型繁多 Velocity 处理速度快 Value 价值密度低
云计算:通过网络提供课伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT
资源。
云计算包括3种典型的服务模式。LaaS PaaS SaaS 基础设施即服务 平台即服务 软件即服务
1.云计算关键技术:
虚拟化、分布式存储、分布式计算、多租户等。
2.云计算数据中心 (地质稳定,凉爽舒适)
计算中心电力利用:(55%电力用于制冷 45%服务器(其中70%服务器风扇,30%CPU(其中10%用于计算)))
物联网:物物相连的物联网,是互联网的延伸,利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过
新的方式连在一起,形成人与物、物与物相连,实现信息化和远程管理控制。
技术角度分四个层面:感知层、网络层、处理层和应用层。
区别:大数据侧重于对海量数据的存储、处理与分析,从海量数据中发现价值,服务与生产和生活。
云计算本质旨在整合和优化各种IT资源,通过网络以服务的方式廉价地提供给用户
物联网发展目标物物相联,应用创新时物联网的核心。
联系:云计算为大数据提供了技术基础。云计算为物联网提供海量数据存储能力。
大数据为云计算提供用武之地。大数据为物联网数据分析提供支撑。
物联网为云计算技术提供了广阔的应用空间。物联网是大数据的重要来源。
大数据开篇
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL
zhisheng
2019-02-24 21:04:11
大数据驱动的运营创新和探索
支付寶技術
2019-02-24 13:49:15
Python——数据类型
陳晨工程師
2019-02-24 13:43:55
撕掉普通程序员的标签,这才是真正的大数据工程师!
金羅老師
2019-02-24 13:12:37
深入浅出分布式文件存储系统之 Ceph 的实现
qq5c6f4fa42f069
2019-02-24 12:58:23
从无到有构建大型电商微服务亿级架构(第一阶段)视频教程
星辰8209
2019-02-24 12:53:42
基于Flink流处理的动态实时亿级电商全端用户画像系统视频教程
星辰8209
2019-02-24 12:53:42
从无到有构建大型电商微服务亿级架构(第三阶段)视频教程
星辰8209
2019-02-24 12:53:42
大型企业级云产品-亿级数据统计分析系统(涵盖大数据主流技术)视频教程
星辰8209
2019-02-24 12:53:42
大数据解码“老广”过年的“壕”味
SQ111
2019-02-24 12:50:19
技术创新 | 北农商完善“同城双中心”灾备管理
頡一科技
2019-02-23 13:58:00
颉一软件查理:数据变现,始于流通
頡一科技
2019-02-23 13:58:00
大数据与教育同频共振
109573496ld
2019-02-23 13:43:17
大数据未来应用的五大发展方向
109573496ld
2019-02-23 13:43:17
大数据领域的六年巨变
109573496ld
2019-02-23 13:43:17