PAGE 1 PAGE 1物流大数据标准及案例分析介绍了在城市物流配送领域的数据化和智能化改造过程中，如何面对大数据标准化的挑战，并从调度系统和开放平台两方面入手，提出了提高单次配送效率和节约多次配送成本的标准化解决方案。案例为物流大数据标准化技术供应了可供参考的分析思路、实施案例和创新经验。1.引言随着移动互联网技术对国民经济日益深入的影响过程，作为现代经济生活的底层支柱，物流行业也越来越体现出标准化、数据化和智能化的特点。这里标准化又是全部数据化和智能化改造升级的起点，负责对日常海量的物流数据从底层标准上建立统一的规范，进而影响基于大数据的上层模型和算法创新。可以说，标准化的质量和程度，打算了大数据和人工智能所能达到的高度；标准化工作中遇到的问题和应对策略，也都融合在现代物流行业在“互联网+”升级浪潮的解决方案之中。在国家指导层面上，2015年3月国务院印发了《深化标准化工作改革方案》。方案指出，要“更好发挥标准化在推进国家治理体系和治理能力现代化中的基础性、战略性作用，促进经济持续健康发展和社会全面进步”。2015年11月，国家标准化管理委员会又进一步印发了《物流标准化中长期发展规划（2015—2020年）》，明确了到2020年我国物流标准化工作的发展目标、主要任务、重点领域、重点工程等。

在详细实施层面上，百度外卖自从2014年5月成立以来，专注于城市物流配送领域，在物流行业的数据化和智能化改造方面探索出诸多成果。这其中很大程度上得益于物流标准化建设的工作，为百度外卖物流配送效率和体验提升供应了长久动力。2.物流调度系统设计架构物流调度系统是全部涉及线下运力调配应用的最核心环节，也是关联诸多因素的综合系统。需要依托海量历史订单数据、配送/驾驶员定位数据、精准的商户特征数据，针对配送/驾驶员实时情景（任务量、配送距离、并单状况、评级），对订单进行智能匹配，实现自动化调度以及资源的全局最优配置，在保证系统效率的前提下，最大限度地提高用户体验。详细来说，包括以下几部分内容。（1）综合交通数据采集平台综合交通数据采集平台主要供应多源异构数据的采集与清洗功能，解决数据的不全都性问题，有效提高数据质量评价与数据清洗技术，主要功能包括以下几个方面：●依据业务范围及应用类型供应数据采集中间件与信息采集工具；●实现连续、实时、高效、精确的交通运输领域中结构化与非结构化大数据的获取与采集；●结合物联网、互联网和卫星定位技术开发智能终端，实现在动态环境下的交通数据实时采集；●实现数据清洗和预处理功能，解决数据冗余和不相容性并消退噪声的数据集成与融合技术。

（2）物流运输调度决策平台物流运输调度决策平台主要供应实时数据环境下物流调度规划、下发、反馈、评估和追踪定位技术，主要功能包括以下几个方面：●采集并计算所在地区道路、桥梁、河流、障碍物等地理经纬度和距离信息；●实时采集点对点物流运输需求数据和物流配送人员的动态信息；●进行物流运输路径规划和配送任务指派的决策推断；●结合应用场景，线下模拟真实物流运输的多维指标及演进状态；●设计并实现分布式、高并发、大容量的流式计算框架；●采集并存储全部调度参数信息，供应历史调度场景的追查定位服务。（3）物流运力预警及安排平台物流运力预警及安排平台主要供应跨平台数据环境下物流运力警报的评估、发布和关闭以及相应级别下安排物流运力的技术，主要功能包括以下几个方面：●多维度采集公共平台和行业领域综合交通业务数据，比如天气、节假日、重大社会活动、运力资源等；●实时采集目标区域内的运力指标数据，评判行业运力紧急状况，预估时间、空间、持续范围及程度；●结合智能终端设备，下发并适时调整运力警报分级，通报实时状态；●针对不同分级警报状态，有差异化地采取降级应对措施，供应运力灾备和最低限度服务能力。3.物流配送标准化的必要性结合百度外卖的业务实践经验发觉，标准化对于物流配送的必要性，或者说能实际发挥重要作用的地方主要有两点：●精准描述用户的运力需求和平台的配送能力，便于抽象到模型层面，实现算法调度和行程规划，提高物流配送效率；●消退信息差异带来的平台扩充成本，适应现实环境中复杂多变的配送场景，便于统一接入调度系统，敏捷扩展到更多物流行业，满意更多配送需求。

因此，在物流配送标准化建设中，要留意从提高单次配送效率和节约多次配送成本两方面着重设计标准化的解决方案，做到有的放矢。详细来说，可以从标准化在调度系统和开放平台的应用中观看到更多细节。4.标准化在调度系统中的应用标准化在调度系统中主要是解决低效率的传统外卖配送形式和行程规划问题，将原先需要依靠相关人员经验数值和手工处理的流程改造成可大规模自动处理的标准化数据和可敏捷配置复用的标准化流程。（1）订单样本数据标准化调度模型机器学习算法需要千万级的训练样本，告知学习算法可以从中抽取出哪些特征值，才能经过数学模型求导出最优参数。从百度外卖平台的历史订单数据中抽取出实例不难，难点在于如何认定这些订单的实际出餐时间、骑士到店时间和用户收餐时间。由于现实网络环境限制和实际操作规范管理难度，并不是采集到的原始数据就可以直接利用，通常需要利用骑士轨迹多次回传记录，并结合地理形态和道路交通属性对缺失数据和异常数据进行预估和校验，才能清洗掉由于商户和骑士操作不规范导致的干扰数据。（2）商户和菜品数据标准化对于餐饮外卖平台来说，商户和菜品信息标准化是供应优质服务体验的基础，也是数据标准化的另外一个重要内容。

通常有关商户和菜品的信息都是由餐饮运营方供应，平台负责录入和存储。但这样采集到的数据并不规范，每家餐厅对经营类别、菜品名称的定义标准都各不相同，需要平台方供应一整套的商户和菜品的标准化体系。比如，在经营类别方面，首先制定出17个大类、110个小类的分级体系，并为每个商户明确其对应的经营范围标签；其次对数以百万计的原始菜品名称进行去重、合并，得到归一化后的标准化菜名，对应到菜品数据库中唯一的标识符；在此基础上，针对每个菜品建立菜式、菜系、口味、食材、做法等各类标签，并进一步得到商户在这些菜品标签上的分布状况。构建全面的商户和菜品标签体系可以应用在许多方面，比如，通过商户的品牌、营业面积等信息可以估算该商户的产能，通过菜品在材料、价格、烹饪方法上的差异可以估算制作时间。（3）虚拟场景构建标准化虚拟调度系统用来线下模拟物流配送的真实场景及变化过程，以商圈为粒度构建由骑士、用户、配送事件、场景参数等虚拟数据组成的虚拟场景，达到线下演算、优化调度算法系统的效果。标准化的虚拟场景不仅是对静态数据供应可量化、可复用的规范，而且还需要定义一系列的虚拟物流配送动作，才能在线下完成真实场景的变化过程。不管接入什么样的受测调度算法，设置什么样的初始状态参数，虚拟调度系统都能根据预设的物流运力和调度压力运转完整的多轮配送流程，并统计得出受测调度算法的整体效果指标。

比如，在虚拟调度系统里，一次完整的调度配送涉及用户、骑士和调度员3个角色，每次配送行为可以包括下单、取餐、送餐、上岗和下岗等操作，监控和评估环节需要统计的指标包括配送时间、配送距离、空驶距离、准时率、并单率、压单率等。当启动虚拟调度系统以后，同时有多个并发进程在以某个时钟频率实时更新虚拟场景状态，并触发某个时段后各个角色的新行为。5标准化在开放平台中的应用标准化在开放平台中主要是解决复杂多变的外部数据结构和业务需求带来的成本问题，将原先需要一对一制定方案的封闭式合作模式改造成一对多复用方案的开放式合作模式。介绍了在城市物流配送领域的数据化和智能化改造过程中，如何面对大数据标准化的挑战，并从调度系统和开放平台两方面入手，提出了提高单次配送效率和节约多次配送成本的标准化解决方案。案例为物流大数据标准化技术供应了可供参考的分析思路、实施案例和创新经验。1.引言随着移动互联网技术对国民经济日益深入的影响过程，作为现代经济生活的底层支柱，物流行业也越来越体现出标准化、数据化和智能化的特点。这里标准化又是全部数据化和智能化改造升级的起点，负责对日常海量的物流数据从底层标准上建立统一的规范，进而影响基于大数据的上层模型和算法创新。

可以说，标准化的质量和程度，打算了大数据和人工智能所能达到的高度；标准化工作中遇到的问题和应对策略，也都融合在现代物流行业在“互联网+”升级浪潮的解决方案之中。在国家指导层面上，2015年3月国务院印发了《深化标准化工作改革方案》。方案指出，要“更好发挥标准化在推进国家治理体系和治理能力现代化中的基础性、战略性作用，促进经济持续健康发展和社会全面进步”。2015年11月，国家标准化管理委员会又进一步印发了《物流标准化中长期发展规划（2015—2020年）》，明确了到2020年我国物流标准化工作的发展目标、主要任务、重点领域、重点工程等。在详细实施层面上，百度外卖自从2014年5月成立以来，专注于城市物流配送领域，在物流行业的数据化和智能化改造方面探索出诸多成果。这其中很大程度上得益于物流标准化建设的工作，为百度外卖物流配送效率和体验提升供应了长久动力。2.物流调度系统设计架构物流调度系统是全部涉及线下运力调配应用的最核心环节，也是关联诸多因素的综合系统。需要依托海量历史订单数据、配送/驾驶员定位数据、精准的商户特征数据，针对配送/驾驶员实时情景（任务量、配送距离、并单状况、评级），对订单进行智能匹配，实现自动化调度以及资源的全局最优配置，在保证系统效率的前提下，最大限度地提高用户体验。

详细来说，包括以下几部分内容。（1）综合交通数据采集平台综合交通数据采集平台主要供应多源异构数据的采集与清洗功能，解决数据的不全都性问题，有效提高数据质量评价与数据清洗技术，主要功能包括以下几个方面：●依据业务范围及应用类型供应数据采集中间件与信息采集工具；●实现连续、实时、高效、精确的交通运输领域中结构化与非结构化大数据的获取与采集；●结合物联网、互联网和卫星定位技术开发智能终端，实现在动态环境下的交通数据实时采集；●实现数据清洗和预处理功能，解决数据冗余和不相容性并消退噪声的数据集成与融合技术。（2）物流运输调度决策平台物流运输调度决策平台主要供应实时数据环境下物流调度规划、下发、反馈、评估和追踪定位技术，主要功能包括以下几个方面：●采集并计算所在地区道路、桥梁、河流、障碍物等地理经纬度和距离信息；●实时采集点对点物流运输需求数据和物流配送人员的动态信息；●进行物流运输路径规划和配送任务指派的决策推断；●结合应用场景，线下模拟真实物流运输的多维指标及演进状态；●设计并实现分布式、高并发、大容量的流式计算框架；●采集并存储全部调度参数信息，供应历史调度场景的追查定位服务。（3）物流运力预警及安排平台物流运力预警及安排平台主要供应跨平台数据环境下物流运力警报的评估、发布和关闭以及相应级别下安排物流运力的技术，主要功能包括以下几个方面：●多维度采集公共平台和行业领域综合交通业务数据，比如天气、节假日、重大社会活动、运力资源等；●实时采集目标区域内的运力指标数据，评判行业运力紧急状况，预估时间、空间、持续范围及程度；●结合智能终端设备，下发并适时调整运力警报分级，通报实时状态；●针对不同分级警报状态，有差异化地采取降级应对措施，供应运力灾备和最低限度服务能力。

3.物流配送标准化的必要性结合百度外卖的业务实践经验发觉，标准化对于物流配送的必要性，或者说能实际发挥重要作用的地方主要有两点：●精准描述用户的运力需求和平台的配送能力，便于抽象到模型层面，实现算法调度和行程规划，提高物流配送效率；●消退信息差异带来的平台扩充成本，适应现实环境中复杂多变的配送场景，便于统一接入调度系统，敏捷扩展到更多物流行业，满意更多配送需求。因此，在物流配送标准化建设中，要留意从提高单次配送效率和节约多次配送成本两方面着重设计标准化的解决方案，做到有的放矢。详细来说，可以从标准化在调度系统和开放平台的应用中观看到更多细节。4.标准化在调度系统中的应用标准化在调度系统中主要是解决低效率的传统外卖配送形式和行程规划问题，将原先需要依靠相关人员经验数值和手工处理的流程改造成可大规模自动处理的标准化数据和可敏捷配置复用的标准化流程。（1）订单样本数据标准化调度模型机器学习算法需要千万级的训练样本，告知学习算法可以从中抽取出哪些特征值，才能经过数学模型求导出最优参数。从百度外卖平台的历史订单数据中抽取出实例不难，难点在于如何认定这些订单的实际出餐时间、骑士到店时间和用户收餐时间。

由于现实网络环境限制和实际操作规范管理难度，并不是采集到的原始数据就可以直接利用，通常需要利用骑士轨迹多次回传记录，并结合地理形态和道路交通属性对缺失数据和异常数据进行预估和校验，才能清洗掉由于商户和骑士操作不规范导致的干扰数据。（2）商户和菜品数据标准化对于餐饮外卖平台来说，商户和菜品信息标准化是供应优质服务体验的基础，也是数据标准化的另外一个重要内容。通常有关商户和菜品的信息都是由餐饮运营方供应，平台负责录入和存储。但这样采集到的数据并不规范，每家餐厅对经营类别、菜品名称的定义标准都各不相同，需要平台方供应一整套的商户和菜品的标准化体系。比如，在经营类别方面，首先制定出17个大类、110个小类的分级体系，并为每个商户明确其对应的经营范围标签；其次对数以百万计的原始菜品名称进行去重、合并，得到归一化后的标准化菜名，对应到菜品数据库中唯一的标识符；在此基础上，针对每个菜品建立菜式、菜系、口味、食材、做法等各类标签，并进一步得到商户在这些菜品标签上的分布状况。构建全面的商户和菜品标签体系可以应用在许多方面，比如，通过商户的品牌、营业面积等信息可以估算该商户的产能，通过菜品在材料、价格、烹饪方法上的差异可以估算制作时间。

（3）虚拟场景构建标准化虚拟调度系统用来线下模拟物流配送的真实场景及变化过程，以商圈为粒度构建由骑士、用户、配送事件、场景参数等虚拟数据组成的虚拟场景，达到线下演算、优化调度算法系统的效果。标准化的虚拟场景不仅是对静态数据供应可量化、可复用的规范，而且还需要定义一系列的虚拟物流配送动作，才能在线下完成真实场景的变化过程。不管接入什么样的受测调度算法，设置什么样的初始状态参数，虚拟调度系统都能根据预设的物流运力和调度压力运转完整的多轮配送流程，并统计得出受测调度算法的整体效果指标。比如，在虚拟调度系统里，一次完整的调度配送涉及用户、骑士和调度员3个角色，每次配送行为可以包括下单、取餐、送餐、上岗和下岗等操作，监控和评估环节需要统计的指标包括配送时间、配送距离、空驶距离、准时率、并单率、压单率等。当启动虚拟调度系统以后，同时有多个并发进程在以某个时钟频率实时更新虚拟场景状态，并触发某个时段后各个角色的新行为。5标准化在开放平台中的应用标准化在开放平台中主要是解决复杂多变的外部数据结构和业务需求带来的成本问题，将原先需要一对一制定方案的封闭式合作模式改造成一对多复用方案的开放式合作模式。8.结束语通过在外卖配送行业的实践可以发觉，遵循国家层面在标准化建设的指导意见，适应并积极推动移动互联网技术为物流配送领域带来的挑战和变革，解决一线业务实际需求面临的大数据标准化问题，就一定能很好地解决大数据技术在应用层面遇到的工程问题，并为其他人工智能创新供应支持。

百度外卖物流在这一领域开展了一些有益尝试，并将在标准化方案研制和应用推广方面持续深入进行下去。尤其是在物流运输需求预估及供需调配方面，有必要进一步供应大数据环境下城市物流运输的预估需求、调配供给和平衡供需等技术，将来可能涉及的研究方向包括：基于历史交易和消费信息，采集并存储特定行业领域的物流运输需求大数据；利用数据挖掘和机器学习方法，分析物流运输需求在时间、空间和人群上的分布规律和性质特点；动态调配可供给运力资源在人员数量、工具类型、投放能力等指标上的配比，以适应需求变化；主动采用动态定价、划分服务范围、人群画像和推送消息等技术手段，引导运输需求发生变化，使之趋于匀称有效分布。