一、 项目概述
(一)建设政府大数据公共服务平台是贯彻中央关于大数据发展的指导意见,也是省大数据实践的切实需要
建设政务大数据公共服务平台是贯彻落实党中央、国务院决策部署,落实《促进大数据发展行动纲要》的指导意见,全面推进省大数据发展和应用的重要举措。同时,通过政务大数据公共服务平台项目的实施,能够进一步完善省政务信息、人口数据信息、企业资源信息、宏观经济信息等各类信息的存储与交换,完成省政府数据的“互联互通、融合共享、开放价值”的目标,实现信息资源跨区域、跨层级、跨部门的互联互通、融合共享,为政府统筹规划和科学决策提供支撑,为信息惠民、信息消费、数据开放、社会化服务等提供支撑,进一步扩展民生服务和社会管理领域的各种应用,全面提升公共服务保障能力,提高省政府精细化管理水平。
(二)以标准规范为准则,以基础平台为支持,以数据开发和数据应用为导向,构建省政府大数据公共服务平台
通过建立省政务大数据公共服务平台,收集各主管部门行政管理产生的业务数据与城市运营中所产生的各类数据。通过建立健全标准规范体系和安全体系,实现一个统一规范、集中部署、安全规范、充分共享的数据平台,形成省政府独立拥有的大数据信息平台,支撑数据开放及上层大数据应用系统建设,服务政务、行业、社会。
主要建设:
• 数据规范统一建设,提升数据管理、治理能力,提高数据质量、安全性、可靠性、规范性等;
• 构建省政府全息数据库,全面实现省政府数据融合汇聚、省内数据共享交换以及互联网大数据采集。结构化数据形成全息人口库、全息法人库、各类主题库、历史库;非结构化办文数据形成非结构化数据库,实现数据存储和数据检索。
• 搭建政府数据开放门户,逐步推动向社会各界开放数据,带动大数据行业的发展;
• 提升数据资源应用效率,实现数据资源可视化,数据管理与应用智能化等。开展候鸟人才、智能办公大数据专题示范应用,全面提升公共服务保障能力,提高省政府精细化管理水平。
二、 项目需求分析
(一)标准规范体系建设是大数据发展的准则
政务大数据公共服务平台的建设涉及部门多,且存在跨部门、跨系统的数据交换,各系统建设难免出现异构现象,数据格式、类型不一致,数据质量问题突出。需要建设统一的数据编码标准规范、数据质量标准规范,以此为基础保证数据互联互通、信息共享、业务协同;同时作为省政府政务基础资源库,
(二)数据采集是大数据应用的数据源泉
根据大数据应用需要接入数据及各委办厅局数据共享需求,进一步扩展交换节点的部署和接口实施,完善交换平台监控、运维管理功能;优化大数据交换处理性能;加固数据交换平台的安全性和稳定性,满足大数据应用项目的数据共享交换需求,建立统一交换体系基础设施。
除政务数据以外,更多的数据是以分散形式散落在互联网、个人、团体、企业之间,这部分数据将是大数据应用分析的重要数据源,是政务数据的有力补充,大数据平台建设需要通过一定手段获取社会数据、互联网数据,在条件允许情况下,尽量获取物联网数据和企业数据。
(三)数据的清洗融合是大数据应用的数据质量保证
由于政务数据中心需要从多个数据来源获取数据,这些数据来源中的业务系统并没有经过顶层设计和统筹规划,他们之间的数据之间必然存在不标准、不完整、重复、错误、不一致的问题。为解决上述数据问题,需要根据确立的资源数据库的数据标准,让数据收集和交换的过程有章可循,在数据来源的数据加载到资源数据库之前对数据进行全面的质量稽查、标准化、修复和匹配融合,最终形成全省统一的实有人口、法人、建筑物(城市部件)数据,为社会建设、城市管理和公共服务等上层应用提供信息资源保障。
(四)全息数据库是数据标准化和融合后的产物,是大数据应用的数据基础
建设全省政务全息数据库,对原有的人口基础库、法人基础库进行数据清洗比对,并按照大数据的应用需求整合新的数据,形成新的标准人口库和法人库。建立以主题挖掘和协同共享为目的的人才主题库。建立历史库和非结构化库。
(五)大数据基础支撑平台是大数据实践的技术支撑
随着省政府在不断推进各部门非涉密数据的汇聚和跨部门应用,数据的数量在急剧上升,新兴的业务越来越多的涉及到跨部门、跨系统支撑的问题,对于数据承载和服务能力的要求也越来越迫切,而这些复杂的业务环节和系统数据,对数据的存储能力和实时计算能力有了更高的要求,亟需通过高效、稳定的存储运算分析技术,进一步提升政府的海量数据存储、实时查询、快速处理分析。此外为更好的保护隐私,对于敏感数据也需要做好脱敏处理。
(六)智能办公数据服务系统是大数据面向文本数据探索的工具
智能办公数据服务系统需要支撑各委办厅局OA办文系统。鉴于政府部门间办文系统独立建设标准不同,数据服务应以接口的形式提供。系统具备文件适配、索引创建、索引管理、分词、自然语言模块处理、全文检索、智能排序功能,并支持前端文档全文检索、文档比对分析、文档智能推荐等应用。同时,建立文档评价体系,完善文档智能推荐。
三、 总体解决方案
省政务大数据公共服务平台基于SOA(面向服务的体系结构)的体系架构进行构建,主要由数据源层、数据采集层、数据处理层、数据中心层、大数据基础支撑层、数据服务层、数据开放层、数据应用层八部分组成,并制定相应数据标准、应用规范及数据安全管理体系,总体框架图如下:
(一)数据源层
数据源层是基础数据来源,包括委办厅局数据、物联网数据、互联网数据、社会众包数据、企业数据以及其它数据。
(二)数据采集层
采集层数据包括数据共享平台交换升级、互联网数据采集、众包数据采集。
(三)数据处理层
在源数据加载到大数据库之前,对数据融合清洗,进行全面的质量稽查、标准化、数据归集关联清洗、质量监测、数据比对,进行数据质量提升、数据脱敏几个功能模块。
(四)数据中心层
大数据库中数据进行统一收集、存储和管理,让数据能够更加快速存放与利用。
大数据库按照数据仓库的方法体系来建设,由缓冲区、贴源区、原子区、整合区、集市区、应用区、历史库、非结构化库八部分组成。
(五)大数据基础支撑层
提供海量分布式数据存储、分布式运算、数据分析挖掘、大数据高效检索、实时分析、即席查询、数据分析可视化功能支撑,以及提供整个大数据基础平台的管理运维。
(六)数据服务层
数据服务层通过对多源数据服务化,形成各类服务引擎,查询引擎、报表引擎、分析引擎,给综合统计分析系统提供安全的数据服务。
(七)数据开放层
开放层通过开放服务接口的方式向各政府主管部门及社会公众提供安全的数据共享服务。
(八)数据应用层
基于建设的大数据平台,可以开展很多的大数据应用,包括智能办公数据服务系统等其他大数据应用系统。
(九)标准体系、安全体系及运维支撑体系
标准体系、安全体系及运维支撑体系为省政府政务大数据公共服务平台的建设提供标准支撑、安全支撑及后续的运维支撑,以保证整个项目的顺利开展。
四、 项目实施效果
(一) 建立了一套适用于本省大数据应用和发展的标准规范体系,为将来大数据实践的不断完善和扩展打下良好的基础。
(二) 统一了大数据采集平台,重塑数据来源通道,一次采集全省公用,减少工作人员重复采集的人力支出,规范了数据入口和出口。
(三) 通过标准规范指导下的数据清洗融合,将高质量的多源异构数据进行统一存储和管理,为进一步更加精准的数据分析、挖掘预测创作了条件。
(四) 大数据基础支撑平台是全省各委办厅局大数据共用的基础技术平台。尤其是政务数据中心的建设,为各委办厅局相关数据应用建设和大数据行业发展提供了技术支撑,降低数据协调费用,大大降低系统建设成本。
(五) 政务大数据公共服务平台的建设,将会推进新一代大数据技术创新,催生出巨大的新兴产业及经济形态,有利于推动大数据产业链的形成,有利于形成市场化、社区化社会服务,有利于推动一批社会服务产业的发展。促进互联网等相关新兴领域业务创新增值,形成新的经济增长点,带动社会经济发展。
(六) 本项目的建成将促进省政府社会建设工作的影响力,将大大推进全省大数据行业和相关产业的发展,带动省政府经济多样化转型。同时政务数据全省“一盘棋”、大集中的发展格局,提升政府治理能力,提高服务居民、游客、投资者水平。同时发挥市场在资源配置中的决定性作用,以企业为主体,营造宽松公平环境,以“应用牵引、创新驱动、融合发展”为核心,促进大数据与重点产业的融合发展,推动经济转型升级,培育壮大大数据产业;政务数据的开放和居民服务类支撑系统的建设,进一步推进“服务型政府”的建设进程,将大大提高政府的“服务为民”的指正形象,将大大提高社区服务于民,全民监督共享服务的能力,将对社会造成良好服务于民,打造服务型政府起到巨大积极作用。