作为互联网转型专家,陈峰教授介绍了大数据的一些基本框架,对入门很有帮助。
一. 大数据基本概念
大数据的基础源自互联网--> 大数据-->云计算-->人工智能
1. 数据大:TB到PB。今天Baidu一天产生1千亿张A4纸,相当于可以从地球到月球。
2. 数据多:以前主要事交易数据,比如我买了瓶水;现在还包括交互数据,比如我给你发了个表情。因为机器识别语言的能力越来越强,使得搜索引擎转向推荐引擎,计算机可以预测你感兴趣的内容。
3. 数据快:产生快和处理快(处理了,没有数据的拥堵,不会死机)一部高清电影下载,4G是按分钟,5G是按秒计算。
4. 精准高:数据最大的好处是没有主观性;但是今天数据收集的方法有问题,而且之间没有逻辑,所以容易篡改。数据获取必须是即时性的,数据之间必须要有逻辑
二. 大数据的来源
大数据的管理包括
1. 数据来源
2. 如何挖掘分析
3. 如何应用
各种APP,大平台现在争的不是钱,是时间。比如马云收购饿了吗,通过饿了吗得到数据,比如某处中午点水饺的特别多,在这个附件建一个水饺店。形成整合。美团收购mobile,为的是2个多亿用户数据,8700万月活跃数据,美团把这些数据赋能于美团商家。
大数据的来源包括
1. 智能化的产品:连接,传感
2. 人员巡查(政府,企业为最大需求方,互联网为最大服务商)
所以社会将来需要的是又懂技术,又懂项目的通才,使得数据得到合理的利用
二. 大数据的的分析
3个步骤/方法:
1. 应用主题是什么?应用点在哪里?
2. 如何构建数据模型?需要看出数据之间的逻辑关系 (中弹飞机例子:一般人想到的是加固那个中了弹的地方,其实应该加固没有中弹的地方,因为所以这个地方够坚固,其它都没有飞回来)
3. 最后运用在什么地方?怎么变现?1)内部运用(比如民政发现理论从2002年开始由9月变成7月,后来发现是高考改革:6月考,马上就知道分数;中国离婚是因为小孩子,所以把沟通从家庭氛围到夫妻沟通;2)外部运用;3)相关运用
目前的应用包括
1. 定位功能(物联网定位,定位追踪)
2. 识别(ID,手机号,支付密码)最近发了量子卫星来尝试新的密码方式
3. 画像(刷脸)
4. 匹配。 以前靠抽样生产:比如只能生产39-42码鞋,现在通过3D打印机可以生产刚好符合的鞋,一个礼拜后鞋子送到你脚下
5. 优化(高德地图:怎么去规划不同的路线,最近还是最快,单车开车)
二. 大数据的的巨大变革
1. 思维变革 (今天中国:因果论;大数据:未知变成确定-->不是因果关系,是相关关系)
1) 因果关系转为相关关系(啤酒和尿不湿:放到一起后,销售增加了100%)(飓风,第二天蛋挞就一抢而空)
2) 产权关系转为共享关系
3) 交易关系转为共享关系
2. 商业变革
1) 竞争的是时间(再也不是地段或流量)(e.g.抖音,王者荣耀)
2) 传统:供应链-->现在:价值链(企业:你能够真正获取到多少你的用户)-->定制化
3. 管理变革
1) 经验数据(个人魅力)转为大数据的管理
2)处理转为预防 (高德:7500万用户,根据路线判断是否会出现拥堵)