1、政府大数据资源中心建设思路与方案目录对政府大数据资源平台建设的总体理解12政府大数据资源平台建设方案3政府大数据相关案例分享4政府大数据建设与运营经验分享政府大数据资源平台-价值定位政府大数据资源平台构建PB级大数据采集、存储、计算、挖掘、分析与应用能力汇聚数据资源形成数据资产建立数据应用建立数据服务保护数据安全政务处理经济发展城市管理乡村振兴智慧旅游县各级政务数据监控视频数据物联设备数据企事业单位数据互联网数据智慧政务数字政府数据查询数据计算决策依据洞察&建议数据统计、业务分析、风险预警、智能服务、辅助决策 & 兑现数据价值、赋能政务处理、提升治理水平、推动社会发展政府大数据资源平台-建设目
2、标总体建设目标聚：逐步推进县级各部门政务数据、视频数据、物联数据以及基层业务数据的数据汇聚；推进与市级各类RK、FR、电子证照等基础数据的集成，构建并促进部门与乡镇数据库的建设和利用 。管：构建一站式数据治理与资产管理平台，通过数据交换共享实现全县内数据汇聚、整合，构建全县统一的数据资产目录管理，形成对数据全生命周期管理及各环节质量监管。通：实现基于应用场景的数据资源授权管理机制，推动全县公共数据按需充分共享。实现数据分级分类开放管理，构建共享交换能力。用：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务模式创新；推进全县跨部门的数据智能应用。安：打
3、造整体安全管控体系，保证平台上政务数据在数据汇聚、数据管理、数据共享、数据开放等全生命周期中的安全防护能力。政务数据资源平台政府大数据资源平台-组织及职责通过构建数据治理组织，明确不同级别的人员角色、职责及认责体系，形成一套高效、可持续的数据治理管理运行机制，并实现从不同层面、不同层级、不同维度来共同推动数据治理工作，确保组织的数据治理取得实效进展。X县人民政府县大数据发展管理局县大数据发展管理中心公安局司法局统计局其他机关县人民政府是本县公共政务数据工作的领导小组，负责公共数据工作的统筹规划。县大数据发展管理局负责指导、监督、协调、推进公共数据相关标准工作。县大数据发展管理中心承担本县公共数
4、据归集、整合、共享、开放、应用管理的具体工作。县其他行政机关在各自职责范围内，做好公共数据编目、开放共享工作等，并在业务中充分利用公共数据。政府大数据资源平台-建设配套制度数据治理相关的管理办法与业务规范规定了数据中心与业务部门，以及各系统之间的数据编目与归集、数据模型设计、数据模型开发、数据资产体系框架构建设、部署规范、数据安全运维管理以及数据共享的相关要求，指导整个组织展开大数据的管理与应用。数据管理方法与业务规范总览公共数据总体管理办法公共数据安全管理办法政务应用系统改造规范政务数据资源归集规范政务数据资源清洗规范政务数据资源共享规范政务数据质量管理规范政务数据运营规范政务数据资源编目规
5、范业务规范是指对核心数据进行有关存在性、完整性、质量及归档的测量标准，为评估数据质量；数据治理需要管理和制度的有力支撑，需结合组织现状，制定对应管理办法、流程、认责体系，并颁布相关规章制度。平台建设的前置条件政府大数据治理需要具备一些基础条件才能够顺利展开，政务数据资源、IT基础支撑资源、平台工具及技术能力。政府大数据资源IT基础支撑资源平台工具技术能力前置条件具备一定量的政务数据，县各个委办及部门都建有相应的应用系统，系统中沉淀了数据库、表、字段及数据等。具备政务内/外网、计算资源、存储资源或者政务云、前置机等，可支撑并保障大数据治理平台的稳定运行。具备数据编目、数据归集、数据存储、数据清洗
6、、数据共享、数据安全、资产管理等工具，助力政府大数据治理流程顺利执行。具备数据治理专业的技术支撑团队，团队人员需具备大数据治理模型设计、模型开发等专业知识。平台建设运营模式政务数据运营支撑体系数据管理组织数据标准规范治理平台工具数据治理流程数据管理制度政务数据运营实施原则平台建设先行长期治理运营1+N运营模式(即统一平台支持多个治理组)数据治理运营以业务线划分平台建设以功能线划分平台建设与治理运营团队相独立政府大数据资源平台运营构建一个能持续高效运转的政务数据治理运营体系始终以数据服务业务为目标，持续建设高价值的数据资产与服务目录对政府大数据资源平台建设的总体理解12政府大数据资源平台建设方案
7、3政府大数据相关案例分享4政府大数据建设与运营经验分享总体建设蓝图政府大数据资源平台AI图谱技术大数据云计算数据整合可视化数据展示功能设计应用发布需求分析数据应用模型设计产业经济渔业、旅游乡村振兴（RK/FR)基础数据数据存储数据计算数据治理开发调度数据服务计算模型数据源关联业务目标表单样式计算任务调度数据分析数据应用服务整合各类数据资源连接各组织人员数据资源门户对接交换数据安全平台总体架构市大数据资源平台基础实施(网络&计算&存储)技术标准体系规范数据支撑底座数据交换数据资源中心（基础及融合数据库）数据资源门户数据服务信息安全保障体系数据共享应用数据安全管理平台统一运维平台数据整理治理数据分
8、析平台功能架构数据源自建平台数据新建平台数据物联感知数据市级大数据平台互联网数据数据交换数据采集数据交换配置数据交换校验数据交换异常监控支撑底座分布式存储批数据计算集群管理知识图谱分布式计算实时流计算AI预测图像搜索数据资源中心存储RDMS消息队列分布式存储存储非结构化数据图片数据文本数据实时数据实时存储时实模型离线数据应用层(基础与融合库)计算区离线计算实时计算标准层数据湖数据治理资源编目管理数据标准管理数据架构管理数据资产管理统一调度管理数据服务数据服务管理数据服务申请数据服务接口数据服务监控数据分析数据标签管理数据血缘分析数据探索工具关联度分析数据资源门户门户首页整合资源管理统一审批管理
9、数据资产管理资源目录管理资源目录服务统一消息管理数据共享应用RK库FR库电子证照产业经济主题库渔业、旅游数据库菜园、花鸟数据库乡村振兴统一运维监控资源管理基础资源监控应用服务监控监控告警管理平台运维管理数据安全统一身份管理统一认证管理数据脱敏管理数据加密日志审计管理统一日志管理元数据管理数据质量管理数据开发平台平台架构关系数据治理/服务/分析平台数据资产管理（元数据、标准、质量、资产、目录）资源编目数据归集开放共享清洗/融合加工数据源数据基础支撑平台数据共享交换平台-采集数据资源中心质量稽核统一维护平台数据安全管理数据归集任务调度数据处理提取与存储集中监控维护信息安全保障数据资源门户（数据应用
10、服务）数据资产&服务调度开放控制&下发调度1243540资产管理65数据共享输出数据使用单位数据管理与开发人员资源中心建设规划通过相应平台工具汇聚全县内各单位公共数据形成县级数据湖，同时经过数据清洗、转换、融合、治理后高质量的公共数据资源库，并基于相关应用需求构建各类应用基础、主题、专题、部门、乡镇数据库，进而形成县级数据资源中心。各类数据源各类数据使用单位与应用数据湖（ODS贴源层）数据库（ DWD层）基础库主题库共享库（ 开放共享区）数据安全保障集中监控维护数据治理处理管理乡镇数据库部门数据库乡村振兴库共享数据库数据共享区X县政府大数据资源中心离线数据区实时数据基础及融合数据库结构化数据公
11、共数据库非结构化数据基础库RK库FR库共用信用库数据湖-贴源数据层政务资源社会资源智能物联设备互联网数据主题库产业经济权力事项电子证照库部门数据库渔业数据库旅游数据库公安数据库乡镇数据库花鸟数据库菜园数据库未来社区乡村振兴库经济振兴库居民文化库生态环境库资源建设总体过程数据服务数据生产者县政务数据乡镇政务数据企事业数据视频数据物联数据互联网数据数据消费者县各政务单位乡镇、街道事业单位民间机构企业上级政务单位政府大数据资源中心数据治理管理规范标准（元数据、标准、质量、资产、目录）数据资源建设与应用流程资源编目数据归集开放共享清洗融合加工质量稽核资产管理数据生命周期管理持续反馈数据归集数据安全管控
12、资源建设数据治理流向内部业务数据内部各类文件内部物联数据外部数据互联网数据数据前置库政务数据资源中心数据湖&数据库ODS贴源层DWD基础库RK、FR、空间地理主题库互联网+监管、城市管理、专题库智慧旅游、乡村振兴、共享库数据前置库数据归集清洗加工分发分发分发分发分发分发文件下发库表下发分发组织内部单位外部合作机构数据调用接口调用数据使用机构资源编目资源梳理-总体方法数据资源目录梳理是整个政务数据资源项目建设的基础工作，通过资源目录梳理工作才能全面了解部门的数据家底，才能真正开展数据资源的汇聚、管理、处理与应用。 通过以数据为核心的架构思维，完成整个政务信息资源的全面梳理、有序规范和资源编目工作
13、。资源目录梳理业务梳理共享需求信息化情况局办的核心业务是什么？业务产生与使用的资源是什么？资源在哪里？资源谁负责？跨部门共享需求？哪些信息可向社会公开？哪些信息需要在部门间共享？哪些信息在内部使用？哪些有系统支撑？哪些数据已进库？核心业务的信息化现状？资源编目资源梳理-工作思路 为保证梳理工作的顺利开展、确保梳理信息的实际可靠，我们将政务信息资源梳理工作分为5个阶段完成：1、前期准备2、需求调研3、资源整理和入库4、资源分析5、成果产出梳理推进思路流程为了保障资源工作的顺利推进，我们将通过5个方面来开展工作 ：1、前期准备：了解各部门的职责范围、业务过程、资源情况2、需求调研： 摸清资源分布，
14、明确共享需求，明确资源公开方式3、资源整理：整理分析哪些委办局的业务有哪些系统支持，哪些业务产生了数据，并对这些信息资源进行规范化表示4、资源分析：信息资源分析和资源目录是对信息资源进行一个高层次的整理和归类5、成果产出：形成报告、资源目录和相关的标准规范。资源编目资源梳理-成果输出成果物部门调研报告全县资源报告资源目录部门政务数据资源目录部门业务目录部门资源目录部门共享资源目录部门需求资源目录部门开放资源目录政务基础信息资源目录政务主题信息资源目录标准规范资源编目资源梳理-成果输出（样例）资源编目功能展示数据归集数据范围政府大数据资源平台数据湖/库归集的数据范围、种类和存储方式如下：数据范围
15、数据类型政务数据结构化数据公共事业数据行业数据物联网数据县级政务数据：县级各委办局提供的公安、税务等各类政务数据；街道政务数据：下属街道社区上报的各类政务数据。水电煤：采集区级自来水、电力、煤气、供热等公共事业数据，此类数据是和百姓生活息息相关的重要民生资源。金融行业：整合金融行业个人、企业征信数据；电信行业：整合电信运营商个人、企业的位置数据、互联网内容数据等关键数据其他行业：整合其他行业的优质数据资源。视频监控数据：采集X县内部署的交通、公安监等各类控摄像头所记录的监控视频数据；其他感知设备数据：采集部署在X县内各类感知设备提供的数据。SQL数据库：结构化数据的存储和计算以支持SQL的关系
16、型数据为主，如MySql、KunDB等.NoSQL数据库：非结构化数据的存储和计算以NoSQ数据为主，其中电子证照等小文件数据存储在Hyperbase等KeyValue结构的数据库中，视频等大文件存储在HDFS上。半结构化、非结构化数据数据归集功能展示数据源连通开始配置归集策略配置调度任务数据归集入湖结束连通各个委办前置机全量归集/增量归集等按月/周/天/时等设置任务数据清洗/融合总体流程模型设计程序开发程序测试审核上线数据探索数据清洗/融合技术规范数据清洗完成数据从ODS到DWD/DWS的数据转换。数据清洗需符合数据设计规范与开发规范，保证数据质量与数据一致性。在建设初期的物理模型与逻辑模型
17、设计过程中，建立一系列标准规范及策略，保证数据模型设计合理。同时结合精细化管理规范流程与严格的设计规范，提升模型质量、模型应用的灵活性、降低维护成本、节省计算能力。清洗融合数据模型设计设计评审开发测试发布上线培训需求分析数据调研建模流程正向设计：从数据调研出发逆向设计：从需求分析出发DWD/DWS维度建模宽度建模物理模型设计逻辑模型设计分表规则表命名规则字段命名原则数据处理原则数据有效性策略数据关系定义维值定义规则公安数据数据清洗ODS（贴源层）社保数据教育数据其他委办数据逆向正向市监数据程序命名文件头函数库主函数变量定义时间参数临时表结果表SQL代码索引分区/分桶表空间程序开发规范数据清洗/
18、融合功能展示数据质量稽核总体方案建立了“事前-事中-事后”的完整数据质量管控闭环体系，基于数据标准与数据质量规范，对数据编目、数据归集以及数据清洗/融合各环节数据的稽核，实现对数据质量全过程、全维度的管理，保证数据的质量。资源编目质量数据归集质量清洗融合质量空值检查值域检查规范检查逻辑检查重复数据检查及时性检查缺失记录检查引用完整性检查事前事中事后质量规则配置质量模型设计数据质量评估报告，指导数据质量持续改善元数据&业务数据自动报告生成数据标准&数据质量规范数据质量稽核功能展示数据开放共享总体方案需求方平台组提供方开始浏览已发布资源平台预审填写需求信息发起共享申请责任方审核数据授权开始共享结束
19、数据共享主要针对县各个委办单位进行数据的申请与审批，需求方通过门户浏览已发布资源，然后进行需求资源的申请。整个共享过程包括：需求填写；需求审核；数据共享；共享监控；使用反馈。数据开放共享功能展示数据资产管理总体方案通过对数据治理，让数据更加准确、一致、完整、安全，并形成数据资产，让对数据的使用过程更为人性、便捷、智能，从而提升管理决策水平。利用数据资产管理支持对数据的分发、开发、交易等数据嫁接的实现，从而促进数据资产的价值实现。数据资产资源编目数据库分析报告设计文档处理程序报表服务记录数据模型资产目录管理资产生命周期管理资产注册资产上下线资产变更管理资产引用管理数据血缘资产地图自动化收集资产可
20、知明确数据来源、含义、用法资产可控资产使用可控资产质量可控资产可取方便各层级人员获取 管理目标数据资产管理功能展示安全管控总体方案政府大数据资源中心建设项目需按照信息安全等保三级的要求，依托于县级电子政务云环境和数据安全子平台建设，开展对主机、网络设备、安全设备功能配置优化和加固工作，并建立健全安全管理制度，进一步落实安全管理相关工作。按照三级等保要求规建，确保平台达到信息安全等级保护三级要求（85分以上）物理安全确保数据中心机房的安全包括机房的选址，机房场地安全，防电磁辐射泄漏，防静电，防火等内容网络安全确保平台网络的设计、构建和使用的安全使用基于网络的各种相关安全技术和手段，如防火墙，IP
21、S，安全审计等系统安全保证服务器操作系统，数据库，中间件在内的平台相关系统安全使用安全评估管理工具所进行的系统安全分析和加固数据安全确保数据存储与使用安全使用数据备份和恢复等数据安全设计使用数据加密、脱敏等技术信息安全保证平台所涉及信息安全是由完整的用户身份认证以及安全日志审计跟踪对安全日志和事件的统一分析和记录确保数据与信息安全，符合信息安全管控规范围绕数据为核心，从数据采集、存储、访问、使用、修改、共享、丢失、泄漏等多个维度展开，构建全生命周期的数据安全保障体系，形成数据与信息安全管控闭环安全管控平台方案安全服务体系平台基础设备信息源身份认证信息数据授权信息安全服务信息数据使用信息数据资源
22、平台数据流数据流安全运营中心监控服务信息平台安全运营安全规范审计事前：统一身份访问控制事中：数据使用权限控制数据脱敏事后：统一日志管理日志审计分析整体：数据安全合规审查安全管控功能展示目录对政府大数据资源平台建设的总体理解12政府大数据资源平台建设方案3政府大数据相关案例分享4政府大数据建设与运营经验分享某县级公安大数据平台项目背景与目标通过建设公安大数据平台，推进视频图像、云计算、大数据及人工智能等信息技术在公共安全、城市治理、社会管理等领域的广泛深度应用，对着力解决全县发展过程中人民群众关切的公共安全、交通拥堵、环境保护、权益保障、公平正义等问题，不断增强人民群众获得感幸福感安全感，具有重
23、大意义。以服务公安各警种为出发点，建立数据资源池，部门间共享数据，全面提升信息化应用效益，以云计算、大数据、人工智能等新技术为关键支撑，以服务业务应用为根本目标。对多源、海量、异构、实时视频数据的接入、汇聚，实现数据标准化、数据融合化、数据标签化、数据模型化等数据治理工作，为各部门提供标准数据服务和增值数据服务。数据汇聚：建立采集、汇聚各类数据的功能，并将市级平台数据、视频监控等各类数据汇聚到数据资源池中。数据处理：提供数据访问、数据抽取、数据清洗、数据转换等数据处理功能，支撑用户进行各类标签、关联分析、聚合分析等应用开发。数据治理：提供数据治理方案，对数据资源中心进行规划设计，构建ODS、D
24、WD、基础库、主题库、专题库等不同层级的数据资源层。数据服务：将各类数据应用封装为标准接口并以服务的方式向外提供，同时构建一套完善的数据服务申请、审批与监控管理机制。数据管理：提供数据资源管理能力，形成数据资源目录，并可按照部门、行业、来源等多种方式进行重新组织，提供统一的数据视图。某县级公安大数据平台平台功能架构某县级公安大数据平台数据治理框架元数据采集数据标准管理元数据管理数据地图字典标准数据项标准元数据管理数据资产管理资产分类资产注册数据血缘资产分析数据架构管理组织层级管理数据团队管理系统管理用户管理权限管理数据开发运维监控调度列表任务监控Sever/agent监控订阅监控数据质量全过程
25、流程驱动全过程开发质量控制校验规则管理物理表检查配置质量检查质量检查报告脚本开发作业开发开发测试上线部署调度任务数据探索数据治理平台支持多种数据库环境的数据开发功能，实现从数据的采集、加工到数据探索服务的全生命周期管理。并提供数据开发全过程的治理管控能力。数据治理配套数据规范管理，包括数据标准的定义、数据标准执行、数据质量检核规则管理、数据质量问题治理、数据模型管理办法、数据交换管理、ETL开发管理规范等工作流程。某县级公安大数据平台项目实施方案抽取配置数据摸底数据校核模型设计元数据配置标签维护分布式文件系统搭建组件适配构建抽取平台数据工厂部署产线适配产线功能拓展开发数据对接数据治理数据需求数
26、据建模数据开发数据调度数据维护规范制定平台应用1 平台功能建设2 应用运营某县级公安大数据平台项目建设成果-数据汇聚数据汇聚中心12个计算节点，共6台服务器，总存储容量300T（相当于1500亿条数据），物联设备等结构化热数据存储半年，结构化数据存储1年，目前规划接入数据如下：某县级公安大数据平台项目建设成果-数据治理与应用利用数据资源管理平台，实现了数据资产体系化管控；完成了公安、政务、物联感知、社会数据等4大类，136小类数据共20亿数据的汇聚与治理工作；建立R房关系、R车关系、人人关系以及宾馆主题库、网吧主题库、警情主题库等30多个基本与主题专题库；开发了数十个服务接口，完成55张表数据
27、模型的开发；通过数据开放服务赋能了一人一档、全息感知、F罪预测、一车一档、户籍办理等实战应用。某县级公安大数据平台项目难点与挑战数据体量大单日增量数据4330w条，涉及186张表每天50-100万人脸抓拍照片，百万级的人脸与车辆照片计算要求高单日百万级的城市图像数据与海量存量的数据（TB级）的及时比对支撑数百个应用的模型任务调度应用模型复杂一人一档、全息感知、犯罪预测等应用，都需要较复杂的应用模型和标签设计共享需求多单日共享数据超过640w条，涉及75张表某地市级大数据资源平台建设目标将分散、多样化的数据通过汇集、标准化、清洗等操作对数据的质量进行全面的提升和监控，形成城市大数据的管理和控制机
28、制，并提供一站式数据治理体系，持续不断的挖掘和提升数据的应用价值。通过对数据、应用、系统综合管理，构建标准化、流程化、自动化、一体化的数据管理体系。按照“总体规划一步到位，平台建设分步实施，数据赋能逐步升级”原则，落实数据交换共享和业务协同应用需求，逐步提升全市大数据平台能级。项目整体目标数据智能子系统建设目标数据治理数据管理数据智能应用某地市级大数据资源平台总体架构某地市级大数据资源平台业务流程某地市级大数据资源平台数据湖分层分库设计融合层(DWS)贴源层（ODS）清洗层（DWD）共享层(ADS)按存储类型建库主题/专题库ODS-区政务库DWD-区政务库DWD-市政务库委办数据应用数据（归集
29、）市下发数据（归集）DWD-地理库GIS系统（同步）城市管理主题库公共安全主题库社会治理主题库基础库RK库FR库地理空间库电子证照库公共库清洗转换Search共享库PostgreSQL共享库文件存储大文件库小文件库对外共享对外共享抽取到共享层抽取到共享层流数据KafkaSpark Streaming/FlinkHyperBase共享库Kafka公共融合库融合加工实时数据（同步）文件数据（同步）某地市级大数据资源平台建设成果围绕城市动态、城市交通、城市环境、防汛预警、应急数据、城管车辆、营商环境等应用场景进行数据治理工作，共归集、治理数据近23亿条，满足18家单位23个应用场景需求，提供共享数据
30、近17亿条。某地市级大数据资源平台重点应用区大数据中心以“城运主题库”建设为重点，把事关城市运行的各类数据、系统，集成到“一网统管”上来，一手抓系统整合，一手抓数据共享，打通、联通、融通各类城市管理和服务数据，实现数据汇集、系统整合、功能融合。已形成32个共2735.9万条主题库目录数据，提供共享数据累计10.06亿条，满足城运中心防汛预警、环卫车辆、垃圾分类等业务需求。省级大数据中心专题库建设疫情复工专题库道口检查数据企业复工数据口罩预约数据全量人员生成标签数据抽取数据统计个人数据企业数据每日复工统计徐汇复工统计湖北人员通道及复工统计各区县住建委应急局卫健委数据分发省级大数据中心专题库建设互
31、联网+监管专题库省级大数据中心专题库建设互联网+监管专题库省级大数据中心主题库建设城市管理主题库实时事件数据动态资源数据区域基础数据危险品基础设施供能交通数据采集数据处理数据归集数据清洗数据分类建立相应维表信息同步信息上报气象养老数据同步数据提取数据分发各相关机构单位目录对政府大数据资源平台建设的总体理解12政府大数据资源平台建设方案3政府大数据相关案例分享4政府大数据建设与运营经验分享政府大数据建设常见问题取数据先行而不是编数据目录先行，导致后续对平台中数据的管理与使用失控缺乏权责明确、清晰的管理与约束手段导致业务单位提交数据不到位、不及时由供需部门直接对接，数据部门没有发挥出协同中心作用，
32、导致业务单位要数据难，效率低、怨言大没有建立基于明确权责划定的多部门沟通与协调机制，导致反复沟通、信息不同步、整体工作效率低前置业务的数据库表自行修改，导致数据汇聚失败或者引发后续数据质量问题元数据管理后置引发不一致(元数据和实体数据资源、设计和实现、文档和实现)灾难缺乏统一数据开发技术标准与规范，导致重复开发，总体开发成本大、效率低，问题多、隐患大采用以代码为主的数据应用开发方式，导致数据应用黑盒问题严重，问题定位困难，维护成本高政府大数据建设核心方法前置-定义数据治理与管理相关的技术、业务与管理标准及规范编制数据资产目录元数据信息配置数据质量标准定义数据开发技术标准数据上报提交规范与要求数据应用需求受理开发流程数据使用申请与使用规范综合运用技术、管理甚至行政手段，来保障这些规范的落地与执行强元数据前置控制数据标准执行控制技术标准执行控制智能化监控与告警明确数据中心职责目标范围强调数据管理治理各方权责配套管理、沟通与考核机制坚定的业务目标强力的组织领导强大的系统工具独立的运营团队高效的技术支撑感谢聆听！
