好程序员大数据培训分享大数据概述一,大数据时代的悄然来临,让信息技术的发展发生了巨大变化,并深刻影响着社会生产和人民生活的方方面面。每个国家都高度重视大数据技术的研究和产业发展,纷纷把大数据上升为国家战略加以重点推进。企业和教育机构也纷纷加大技术,资金和人员投入力度,以期在“第三次信息化浪潮”中占得先机,引领市场。
1、三次信息化浪潮
第一次信息化浪潮
1980年前后,个人计算机的普及,使得计算机走入企业和家庭,大大提高了社会生产力,也使得人类迎来了第一次信息化浪潮,Intel、IBM、苹果,MicroSoft、联想等这些企业是这个时期的标志
第二次信息化浪潮
1995年左右,人类开始全面进入互联网时代,互联网的普及让世界变成“地球村”,每个人都可以享受信息的海洋里冲浪,此时迎来了第二次信息化浪潮,这个时期产生了像雅虎,谷歌,阿里,百度等这样的互联网巨头。
第三次信息化浪潮
时隔十五年,也就是在2010年左右,物联网、云计算和大数据的快速发展,促成了第三次信息化浪潮。各个企业纷纷投入人力,物力,期望能在这个浪潮中成为技术的标杆。
2、大数据时代来临的原因
数据产生方式的变革,是促成大数据时代来临的重要原因。截止到目前来说,人类社会的数据的产生大致分为三个阶段:运营式系统阶段、用户原创内容阶段和感知式系统阶段
运营式系统阶段
可以说是从数据库的诞生开始的。大型超市销售系统、银行交易系统、股市交易系统、医疗系统、企业客户管理系统等等,这些系统都是建立在数据库之上的。他们用数据库保存大量结构化的关键信息,用来满足企业的各个业务需求。这个阶段,数据的产生是被动的,只有当业务真正发生时,才会产生新的数据并保存到数据库中。如股市的交易系统,只有发生一笔交易后,才会有相关记录生成。
用户原创内容阶段
互联网的出现,使得数据的传播更加快捷。web1.0时代主要以门户网站为代表,强调内容的组织和数据的共享,上网用户本身并不产生。真正的数据爆发产生于以“用户原创内容”为特征的web2.0时代,如wiki,博客,微博,微信,论坛等等这样的技术。这个时候,用户是数据的生成者,尤其当智能手机的普及,更是让用户随时随地的发微博,传照片,数据量急剧增长。
感知式系统阶段
物联网的发展最终导致了人类社会数据量的第三次飞跃。物联网中包含了大量的传感器,如温度传感器,湿度传感器,压力传感器,位移传感器,光电传感器等,再如视频监视摄像头也是物联网的重要组成部分。物联网中的这些设备,无时无刻不在产生大量数据。与web2.0时代的人工数据的产生方式相比,物联网中的数据自动产生方式,将在短时间内生成更密集,更大量的数据,使得人类社会迅速进入“大数据时代”