2019年数博会案例评选是有史以来参与厂家最多,条件最苛刻的一次。专家评审团透露,为贯彻落实国家大数据战略,全面掌握我国大数据产业发展和应用情况,本次大数据案例评选成立了专家评审团,制定案例应用需求、产品架构、关键技术、应用效果和企业综合实力五个维度的综合考量标准,历时3个多月,从1706个大数据中共评出100余个案例入选“2019大数据优秀产品和应用解决方案案例集”,并经过现场答辩最终评选出2019“大数据十佳案例”。
腾讯大数据处理套件TBDS(Tencent Big Data Suite)凭借过硬的产品实力,以及政府、金融、工业等领域大量的行业应用,从1706个案例中脱颖而出,喜获数博会2019“十佳大数据案例”以及“全国百家大数据优秀案例”。
图 2 腾讯大数据荣获2019“十佳大数据案例” 和百家大数据优秀案例
什么是腾讯大数据处理套件TBDS?
TBDS是基于腾讯多年海量数据处理经验,集实时/离线场景高性能分析引擎、数据开发以及数据治理功能于一体的大数据平台,其核心包含TBDS大数据基础平台、多集群多租户管控平台,数据接入,数据开发,数据治理,机器学习,智能运营平台等。
TBDS产品结构分为四部分:
平台运维和管理能力:为大数据平台基础的配置、启停、监控、告警、诊断、审计、安全管控等基础能力;
高性能数据分析引擎:基于分布式存储和资源调度能力,分析引擎覆盖了在线数据计算、离线数据分析、近线数据分析、流式数据分析等大数据分析场景;
数据开发微服务:提供包含实时/离线数据集成、数据自由探索、数据开发IDE以及可视化机器学习等大数据开发工具支持,使数据开发者能高效进行大数据开发;
数据治理微服务:提供技术/业务层面的元数据管理、数据生命周期管理、数据血缘管理、数据地图、数据质量以及数据访问审计等能力,使业务数据能得到有效组织和管理。
图 3 腾讯大数据处理套件TBDS架构图
腾讯大数据处理套件TBDS的创新和核心优势
TBDS通过乐高架构,融合多个组件系统,构建开箱即用的大数据平台,提供拖拽式的可视化数据开发IDE及机器学习平台,可支持用户自定义功能,具有非常好的产品扩展性。为客户的大数据集成、存储、计算环节提供完整而稳定的企业级解决方案。客户能借助于TBDS快速构建中台能力,聚焦于进行企业的业务创新。
TBDS的核心优势体现在:
技术开放性,其存储标准兼容开源 Hadoop 标准,使历史构建在 Hadoop 上的大数据平台可以平滑迁移;
支持多驱动接入、完美兼容社区标准,支持跨IDC、异构数据源联合分析;
安全可靠,支持数据节点分布式部署,客户可自助选多个备份。所有系统控制节点主从热备,故障秒级切换,可用性99.999%。支持数据加密传输、存储;
国际认证的系统安全加固技术保障系统级数据安全,自定义算法的数据加密,确保数据在传输、存储过程中的安全管控;
基于角色的数据管控体系,支持列级粒度权限控制。全平台单点登录,统一策略管控中心。健全的访问审计及预警模型,助力安全事件的事后追踪和企业的定期安全审计;
性能卓越,高性能数据接入引擎,内部业务日接入十八万亿条数据;支持万级维度、万亿数据的秒级多维分析,性能全面超越社区方案,数据处理能力提升30%左右;
简单易用,支持一键式部署;支持数据接入、处理、存储、分析、机器学习的拖拽式全链路大数据开发,开箱即用的数据治理工具集,数据开发者只需专注于业务开发。
图 4 腾讯大数据处理套件TBDS核心优势
腾讯大数据处理套件TBDS的应用
现代社会新技术不断发展,改变着人们生活方式的同时,也产生着大量的数据,数据已经成为像“石油”一样的核心生产要素,同时又像“血液”一样串联起整个社会体的运转。如何有效的汇聚、管理、应用数据,在保障个人隐私与数据安全的前提下释放数据的社会、经济、衍生价值成为了摆在政府和企业面前的一道难题。
TBDS提供数据接入、分析,到数据治理和管理的一站式数据处理和挖掘平台,适用于企业从TB到PB级的大数据处理场景(数据仓库、流计算、离线计算、数据挖掘);TBDS当前对外服务的客户群体覆盖政务、公检法、金融、工业制造、交通、能源、广电、零售、汽车、医疗、电商、资讯、游戏等数十个行业,拥有数亿用户,为泛政府、泛企业客户海量数据集存、管、用提供一站式大数据解决方案。