该报告分析了交通领域的大语言模型支撑交通业务场景下知识集成、经验复用、快速赋能业务应用决策等方面的进展及实践，对大模型在交通领域的探索、适用场景进行了介绍，最后指出大语言模型在交通研究领域未来的发展方向。
1、大语言模型的认识
随着大型语言模型ChatGPT爆火以来，让人们看到了复杂场景下的大规模知识抽取和表达的希望，以知识表达和调用为核心的AI语言生成应用给交通行业带来了前所未有的挑战与机遇。同时由于大语言模型特有的灰度理解和模糊表达手法，在实际应用场景中，需要结合原有数据库系统的精准指标相融合，才能达到较实用的效果。
大型语言模型（large language model，LLM）是伴随自然语言处理（NLP）技术演进而诞生的，其发展阶段经历了小规模专家知识、机器学习算法（统计模型）、深度学习算法和目前最新的预训练语言模型。其中10年以来，NLP技术得益于词嵌入技术、注意力机制和预训练方法的提出，逐步发展为大语言模型。
2023上半年，全球资本迅速布局大语言模型。国际上，微软、谷歌、亚马逊等都推出了大语言模型的应用；国内百度、腾讯、科大讯飞等科技企业也相继推出了相关应用。
2022年11月30日，OpenAI推出全新的对话式通用人工智能工具——ChatGPT，在短短5天内注册用户数超过100万，仅用两个月，月活用户已经突破1亿，是史上最快的亿级别用户产品，大语言模型ChatGPT引领了近半年的技术浪潮。
ChatGPT本质上是先进行无监督学习，再进行有监督学习，其在超大规模文字数据集上进行无监督训练后，掌握了人类文本的表达方式和知识组织逻辑，并通过Prompt用提问的方式解决了模型调用的问题，更接近人类的思考逻辑，其语言理解能力还是非常强的。
大家在使用大语言模型的过程中可能都有体会，无论语句如何变换，大语言模型还是能够理解我们的意思。ChatGPT这种语言生成能力、基础世界知识、上下文学习实际上都是来自于预训练；
其存储大量知识的能力来自于1750 亿参数量的基础数据库；遵循指令和泛化到新任务的能力来自于指令学习及指令的质量；生成客观、安全和翔实答案的能力来自于人工反馈的强化学习（RLHF），RLHF的作用是触发/解锁突现能力。
我们前不久也对大语言模型将结合或取代哪些工作这个问题进行了讨论。大语言模型的语义理解能力和生成能力，可能对以文本、图片、语音视频、知识输出的相关专业岗位工作产生较大影响。
此外，也有观点认为，大语言模型可通过定期收集各类社交网络、新闻网站等平台上的舆情数据，获取人类偏向性信息，按照频率作为权重构建语言模型，生成各类交通问卷以及愿意调查。
大预言模型的挑战在于其输出的是的灰度理解和模糊表达。这是一种通过多角度、多视角、多方式地表达同一个概念的特殊的表达方法，旨在提高模型在学习和预测文本内容时的表达能力和创造性。但这种表达方式带来的模糊性和难以捉摸性可能给特定的场景带来误解或误差。
大语言模型的灰度理解和模糊表达可能会降低模型预测结果的准确度和可靠性，这种现象与实际交通场景中对高精度的需求不相符。需要与原有数据库系统的精准指标相融合，才能达到较实用的效果，因此要构建交通专题大语言模型以应对交通治理高精度的挑战。
2、交通领域的探索
大语言模型可通过无监督数据数据集、有监督指令数据集和人工反馈强化训练进行构建。
第一是无监督数据数据集，这类数据量大、覆盖场景全，包括互联网交通公开数据、公司内部数据、政务交通数据。
第二是有监督指令数据集，这类数据集可以根据不同的交通应用场景，提出高质量的问题，并给出优质的回答，以此来训练交通专题的大语言模型。
第三是人工反馈强化训练，通过有用性、真实性和无害性等角度对模型的候选回答质量进行评判并排序，以此构建交通专业体的大语言模型。
我们基于初步思考，结合相关专家的认知，认为可以从以下三方面对大语言模型进行训练。
一是在无监督数据集上进行预训练，通过自监督学习实现大语言模型综合集成交通知识。
二是在监督指令数据集上进行微调，通过使用标注数据集对模型微调，使模型具有语义理解能力，更加理解特殊场景的应用需要。
三是基于人工反馈强化训练，通过提供正确的答案或反馈信息，进一步调整和优化模型。
我们在进行交通模型建模时，会用到很多出行链模型架构，这些架构可以考虑使用大语言模型进行标定，优化既有建模的框架和方法。一些比较特殊的场景，需要进行调整标定，来优化模型，这是一个相互结合的过程。
关于有哪些工作可以跟大语言模型结合或被取代这个问题，我们认为，以文本(代码)、图片、语音视频、知识输出的专业岗位工作，被取代的风险极高。
对人类语言语音理解能力会影响或取代客服人员；对文本理解和生成能力将影响程序员、软件工程师、数据分析师，尤其是软件开发运维相关的中低端人员被取代的风险极高；对图片语音视频设计为代表的广告、内容创作、技术写作、新闻被取代的可能性高，包括法律类、金融分析师等都将受到冲击。
3、适用的应用场景
我们对于大语言模型的适用场景也进行了归类。
首先是融合处理多源异构数据，综合集成交通知识，构建交通知识检索新范式。交通专题大语言模型可通过整合历史交通数据，集成交通领域的各种知识和专业技能，提供更加全面和高效的服务。
同时可基于用户提问进行分析和检索，根据用户需求提供更加准确和个性化的信息，摆脱传统依赖人力进行数据整理和挖掘的问题，提高交通信息检索效率，这也是我们未来考虑发展的一个方向。
其次是融合实时交通数据，实现自动生成交通解决方案，提高交通治理效率。我们在进行交通分析、交通规划设计等工作时，需要处理很多数据，并结合专业知识给出解决方案，大语言模型可通过自动分析和处理大量交通数据和信息，同时结合交通领域专业知识，生成可行性初步方案，让交通管理人员可以快速找到解决问题的落脚点，开展方案测试和评估。
此外，大语言模型可以对交通现状进行评估分析，通过对历史交通数据和实时交通数据进行分析，精准定位某路段和某区域的交通状况，快速聚焦交通运行核心痛点问题。
并通过整合历史交通数据和实时数据，预测未来交通状况，提供初步、快速的交通决策支持，缓解交通规划方案和治理经验复用高度依赖高阶人才（总师）的难题。
最后是构建智能交通神经中枢，集成调度多模式交通智能服务，实现交通的创新融合发展。大型语言模型通过集成和调度车辆监管、交通信号调整、智能导航、智能停车等多种智能服务，实现交通系统的动态优化和智能化服务，提高交通治理效率和安全性。
4、目前进展及目标
我们目前进行了有关大模型工作的相关探索。我们的阶段性目标是希望交通大语言模型综合在多元交通大数据的基础上集成交通综合规划方案、交通治理方案智库，在大语言模型原有的能力之上全面学习支持交通知识检索、交通业务专业方案及文本报告生成。
从交通业务文本生成服务、综合知识应答服务、交通治理方案及报告生成三个方面入手，研发构建交通专题大语言模型，形成快速的城市治理知识调用能力，快速赋能业务应用决策，解决交通规划方案和治理经验复用高度依赖人力的痛点。
在面向交通业务的通用文本生成服务方面，基于原生的ChatGPT的数据检索和文本生成能力，在TransPaas平台融入了大语言模型的能力，辅助业务人员快速完成资料检索、文本翻译、报告撰写、代码生成，提高项目策划、项目交付效率，以减少前期的人员投入。
在面向智慧城市运营数据的综合知识应答模型服务方面，针对城市交通治理需求，基于现有大语言模型的的知识检索能力叠加城市交通运行鲜活的数据，将二者进行深度融合，提供包括交通运行指标问答、自定义问题回答模板。
下图是我们在TransPaas平台进行的对话示例。左图是对东莞滨海湾附近人员流动情况进行询问，这部分数据通过AI摄像头、图像识别等方式存储在标准关系数据库当中，在输出时可以生成一段完整且合乎逻辑的回答。
在交通专题项目报告生成服务方面，针对交通智能治理场景，由交通业务人员理解业务需求，提供向下文信息，可针对性复用历史项目经验生成交通业务解决方案及相关报告，辅助交通业务人员，快速赋能业务。
下图是我们进行的测试实验，要求按照报告的要求，用官方的语言生成交通白皮书、工作大纲等。可以看到这部分工作目前还不太完备，目前既有的ChatGTP包括其他大语言模型对于垂直领域的材料收集还不够，语言语料训练还不足，所以需要对语调进行训练，对以往的报告进行分割，以此形成较好的经验复用。
基于这半年来的探索，我们对大模型对于整个交通行业的影响这一问题也进行了思考。
我们认为，大语言加快交通整体数字化进程，对交通规划、设计、建设、运营管理业务影响还需要专业研发。
大语言模型核心是对既有知识的获取检索组织加工，并不直接创造全新的知识，对于文本编程类的强大能力会加快交通数字化应用进程，数字化进程去IT化趋势会更加明显，文本类重复性工作会逐渐取代，对交通各业务支撑还需要纳入专业应用模型算法底层能力，并在模型私有化部署、数据准确性校验方面持续演进。
下图是我们的关于未来的设想，我们认为基于公开的大语言模型的能力，叠加各单位的内网数据进行训练，可以形成每个单位的独立知识库，最终支持每个单位输出比较好的质量成果。
我们目前正在搭建以交通大语言模型为核心能力，迭代集成搭建交通大数据平台、交通模型及仿真业务平台、交通大数据算法平台，构建交通领域专题大模型，实现交通运行态势自主感知、交通演变趋势自主研判、交通综合治理方案自动生成，这也是我们的终极目标。
希望未来能将大量数据和既有的大数据平台、仿真平台、规划分析等平台进行结合，叠加大语言模型的能力进行生成与整合，更加直接地面向运行监测、趋势研判、协同控制、规划方案输出、智能决策提供全过程支撑。
