基于大数据技术的国家高速公路交通数据动态监测平台建设

项目背景

大数据及其应用的快速发展已经渗透到各个行业和业务职能中，成为重要的生产要素。 2015年8月，国务院印发《促进大数据发展行动计划》，将大数据提升为国家战略。 未来5-10年，我国将把大数据作为提升政府治理能力的重要手段，大力推进大数据在政府管理中的创新应用。 为此，《交通信息化“十三五”发展规划》提出“利用大数据分析技术，开展交通经济运行分析、政策实施效果评价、交通发展趋势研判等，提高交通信息化水平”。交通宏观层面的调控能力”。 《交通运输统计发展纲要》还提出，“充分利用大数据、云计算等现代信息技术，转变统计生产方式，再造统计业务流程，丰富统计服务产品，不断提高统计生产能力” 、管理能力、服务能力，开创交通统计发展新局面”。

“十二五”以来，信息化逐渐融入行业管理的方方面面。 作为大数据应用的基础，交通行业的数据资源日益丰富。 随着以高速公路联网收费、交通车联网联控、智慧公交、物流信息平台等为代表的重大行业信息化项目的稳步实施，交通运输行业管理部门掌握的交通大数据规模呈现爆发式增长。 为推动大数据在交通运输行业的应用，利用大数据支持行业管理决策，提高交通运输行业管理的自动化、智能化水平，提供了基础条件。

2012年以来，受交通运输部委托，交通运输部科学院以业内信息化基础最好的高速公路联网收费服务为示范，建立了全国统一的数据采集规范和数据治理标准发展基于大数据技术的国家高速公路交通数据动态监测平台，实现了对全国29个省份高速公路交通数据（来自高速公路联网收费系统）的动态采集，并利用这些数据开展行业大数据应用，显着改善了交通运输业。 大数据应用能力为行业管理决策提供了有力支持，成为行业大数据应用创新的典范。

项目概况主要建设内容

“基于大数据技术的国家高速公路交通数据动态监测平台建设”是交通运输行业“十二五”信息化重大专项的重要组成部分。 其主要任务是实现全国29个省份的省级高速公路联网收费，动态采集其高速公路联网收费数据，并在大数据平台的支持下，实现全国数据在交通运输部的集中存储和管理，建立基于行业管理需求的商业模式，开展全国高速公路联网收费数据。 分析挖掘，提高行业管理部门的动态监控能力和科学决策水平。

主要问题和挑战

各省高速公路联网收费系统独立建设，系统架构和数据指标差异较大

交通运输行业信息化由交通运输部指导，各省根据业务管理需要实施各自建设。 在高速公路管理信息化领域，各省的建设进度差异很大。 东部发达省份高速公路建设起步早，信息化程度较高。 新疆、青海等西部多省，近年才开始建设省级公路收费系统。 由于管理体制的差异，各省在建设过程中采用的技术框架不同，数据管理模式也大不相同。 大多数省级高速公路联网收费系统采用ORACLE进行数据存储和管理，而一些发达省份由于数据量巨大，也逐渐采用大数据管理系统作为数据管理工具。 这些差异给各省系统按照统一的技术标准收集数据带来了很大的困难。

各省高速公路联网收费数据指标体系不同，数据质量参差不齐

在数据指标方面，由于各省高速公路联网收费系统独立建设，各省收集的指标也存在较大差异，收集的数据指标和内容也不一致。 比如在高速公路收费数据的核心数据表中，有的省份收集了80多个指标，有的省份拆分成100多个指标。 在数据质量方面，不同省份之间也存在较大差异。 例如，在数据质量较好的省份，采集的车牌信息完整、规范，而部分省份采集的车牌号只输入车牌号后3位。 数字。 由于高速公路数据指标体系不一致，数据质量水平参差不齐，难以开展数据分析。

交通运输行业缺乏大数据处理分析能力

在交通行业，“十三五”前，大量应用系统采用传统的传输和存储技术架构构建，大数据技术在行业管理中的应用处于起步研究阶段。 全国高速公路联网收费数据规模庞大。 目前月数据量接近10亿。 在全国平台上，实现了29个省市的高速公路数据采集、传输和聚合。 平台的数据承载能力和稳定性受到挑战。 此外，不断增长的高速公路数据分析需求也对平台数据建模和计算效率提出了新的要求。

技术解决方案

针对上述需求和技术挑战，自2012年以来，交通运输部科学院根据各省高速公路联网收费系统建设进展情况和完善收费标准的需要，搭建了该平台。行业的管理和决策能力。 主要从以下几个方面入手： 1.构建高速公路大数据指标体系，统一数据标准。 2.建设跨省数据采集系统，实现部省之间、不同技术架构体系之间的数据统一采集、质量控制和数据汇聚。 3、运用大数据技术，建立全国高速公路交通数据管理平台，实现全国数据的集中存储、管理和大数据分析挖掘。

统一数据指标体系

根据交通运输部对交通运输行业进行动态监测，测算全国道路运输量，分析路网运行特征的需要，在对高速公路收费的详细数据进行分析后，各省，我院制定了统一的部级数据采集指标体系，主要内容包括高速公路收费数据、高速公路收费站信息、车辆信息和高速公路电子地图等，核心内容如下：

① 详细数据。 包括入口网络号、入口站号、入口时间、出口网络号、出口站号、出口时间、出口车道号、车牌号、车型代号、车型代号、里程、总轴数、轴型、轴重、车辆22项信息包括货物总重量、限重、超限率、绿色通道车辆代码、自由类型代码、路线标识、ETC车辆代码、ETC车辆电子标签OBU编号、支付方式代码等22项信息。

②数据字典。 包括以下5项：

一本是高速公路收费站词典。 包括路网号、收费站号、收费站名称、线路号、线路名称、是否省界站、开通时间、城市名称、收费站是否开通、收费站状态、收费站经度、纬度收费站、备注等信息。 二是高速公路收费模型词典。 包括收费车型代码、车型代码、收费车型定义等信息。 三是高速公路货车轴型词典。 包括单轴组轴型代码、轴型定义等。第四是高速公路免费型式代码词典。 包括自由类型代码、自由类型定义等。第五是高速公路标志站词典。 包括识别站编号、识别站名称、路段名称。

另外，高速公路电子地图是以GIS地图的形式采集的。

基本业务流程

整体业务主要包括数据提交和数据分析。 数据报送业务主要实现各省原始数据的采集、审核、清洗和入库。 数据分析业务实现数据的分析、查询和可视化展示。

整体业务流程如图所示

整体系统架构

整体架构分为6层，数据源层、数据采集层、数据存储层、数据处理层、数据分析层、数据应用层。

数据源层指省级公路网收费系统。 在数据采集层，利用ETL工具和数据传输中间件采集各省前端计算机的数据。 系统实施过程中，各省部署一台数据采集前端计算机。 在前端计算机上，通过 ETL 对数据进行收集、清洗和标准化。 数据回传部后，利用关系数据库开展日常统计工作。 利用分布式大数据平台，与其他数据进行数据分析挖掘和关联分析。 在数据存储层，采用基于大数据的混合数据存储架构，采用基于Hadoop的分布式文件系统管理高速公路明细数据，采用关系型数据库存储存储ods层、dw层和dm层，形成一个完整的数据仓库架构，在数据处理层支持批处理、流处理和混合处理。 在数据分析层：使用impala、spark等技术支持即席查询、信息检索、深度挖掘。 数据应用层以地图和报表的形式展示分析结果。

系统总体框架如图所示：

下图为系统数据采集流程图：

系统主要功能

平台的主要功能包括四个部分：数据质量监控、数据统计与查询、专项分析、系统管理、动态配置。 系统整体功能框架如下图所示：

数据质量监控

通过内置的数据审核规则，对各省上报的高速公路交通数据进行质量审核，确保数据的有效性和完整性，系统对异常数据进行报警，提示数据管理人员进行处理它相应地。 数据质量审核包括数据传输监控、数据异常预警、数据文件存储监控、数据动态监控等。

数据传输监控

数据传输过程监控功能监控ETL工具是否从各省前端处理器采集数据，各省数据传输到部的过程中是否有数据丢失。

数据异常预警

数据异常预警数据指标按照设定的审核规则进行审核，如有异常会提示预警。 审核规则包括入口网号+入口站号不在枚举字典中，货车总轴数为空车，货车总重量为空车等。

数据存储状态监控

根据数据记录条数、最短记录时间、最长记录时间等条件，实时监控当前数据存储进度，确保数据完整无丢失。

数据动态监控

数据量监测功能每月监测各省数据量指标。 从数据指标来看，通过上年和上月的数据变化，监测各省提交的数据质量是否存在问题，主要包括数据量监测和流量监测。 预警、车流量预警等

数据统计与查询

根据交通运输部开展运输量统计和行业经济运行分析的需要，系统自动生成客车交通量和行驶量（分车型）、全省交通量等； 货车通行量（按轴数）、行驶量、货运量、货物周转量、省内车流量等40余项监测报表； 货车及货物总重量、超限率； 免费车辆、ETC运量比例等，用于经济运行分析等相关分析资料和向国务院报送的交通简明月报。

数据分析与挖掘

OD分析

该功能在地图上以直观的方式反映省内各城市间客流、货流的变化趋势和迁移规律，反映车辆从某个城市向其他城市迁移的特征，或车辆在所有城市之间迁移的特征在一个省。

车辆登记分析

根据高速公路通行数据中的车牌号信息，在地图中，根据“外地来本省车辆”和“本省去外地车辆”两个维度，对反映了省际间的高速公路车辆。

热点收费站分析

该功能主要对全国各省收费站车流量进行统计分析。 通过预设不同的过滤条件，如省份、开始时间、结束时间、车型等条件，将车流量排名前10位的收费站以图表形式多维度呈现。 显示对于某收费站，还支持直接查看其24小时的车流量。

收费站交通分析

该功能主要对全国各省高速公路收费站的流量数据进行统计分析，通过预设的不同过滤条件，如省份、开始时间、结束时间、车辆等，以图表形式多维度展示车流量。类型和其他条件。

交通时空分析

该功能主要用于分析车辆在高速公路上行驶的时空分布特征，反映车辆在高速公路上行驶的时间和距离特征。

高速公路交通流量分析

该功能主要从高速公路车流量的角度出发，对不同省（区或全国）、不同时段、不同车型的交通状况进行统计，并利用地图和曲线进行多维度展示。

高速公路交通分析

该功能主要从车辆行驶量的角度出发，对不同省（区或全国）、不同时间段、不同车型的行驶量进行统计，并采用地图和曲线进行多维度展示。

高速公路营业额分析

该功能主要从车辆周转量（收费里程*车货总重量）角度出发，对不同省（区或全国）、不同时间段、不同车型的周转量进行统计，并利用地图和用于多维显示的​​曲线。

应用效果

本案例应用采集了全国29个省份的数据。 已实现联网收费的高速公路基本纳入数据监测范围，共涉及高速公路13万公里，收费站近9000个。 截至2017年8月，总数据量接近10TB，记录数超过350亿条，数据量仍在以每月9亿条的高速增长。 利用采集到的全国高速公路交通数据，我院进行了深入的大数据分析和建模，在交通统计和路网运行监测方面取得了显著成效。

切实提高交通运输统计能力和水平

1、自2016年以来，该平台监测了高速公路不同口径客货车流量、7座以下客车流量、货运量、周转量等主要指标变化情况。以月为单位，在交通经济中已直接应用于公路、水路运输统计数据的分析、质量验证与评价、高速公路运量十日报表等。 相关成果形成后，直接报送国务院、交通运输部有关领导，为行业管理决策提供有力支持。 .

2、2017年，依托该平台，开发了《高速公路运输统计监测月报》、《高速公路运输统计监测报告》等行业统计新产品。 记录直接转化生成统计数据，填补了我国高速公路车流量和区域车流量统计的空白。

为行业管理决策和公路网运行监控提供有力支持

以该平台为支撑，通过大数据建模分析，我院实现了全国高速公路车流量分布、高速公路跨省车辆跟踪、高速公路货运通道分析、压力路段等行业关注的业务分析分析。 行业管理部门为动态掌握高速公路运营趋势和特点、制定物流发展政策、监控路网运行状况提供有力支持。 如下图11条物流通道流量分布显示，国家推广的11条物流通道覆盖的24条高速公路的车流量和货运能力是高速公路网平均水平的1.5-1.6倍。 垂直通道运输需求更强，平均货运量是水平通道的1.2倍，日均货运量排名前5的垂直通道有4个。

编制了系列分析报告，极大提升了交通行业大数据分析水平

2016年4月起，我们开展全国高速公路交通数据挖掘分析，与高德合作开展数据分析，按季度发布中国主要城市交通分析报告。 到目前为止，我们已经联合发布了5份分析报告，每份报告都获得了央视的认可。 、人民网、头条新闻、环球咨询广播、中国新闻网等主流媒体报道，中央电视台财经频道对分析内容进行了两次专题报道。 2017年8月，在该平台的支持下，我院还编制发布了《2016年中国高速公路运营大数据分析报告》。 报告发布后，受到业内外的广泛关注。 报道。 该系列报告的编制发布，为交通运输部开展综合交通大数据分析和实战分析，推动大数据分析成果在交通运输行业的推广发挥了重要作用。

央视财经频道报道示意图

经验总结本项目对高速公路收费数据的采集和大数据分析，是交通运输行业管理和业务、信息化建设技术的重大创新。

该平台建成前，交通运输部主要依靠各类静态统计数据开展行业经济运行分析，支持行业管理决策。 该平台的建设从业务角度收费站etc通行数据分析，创新性地将传统汇总数据的采集转化为业务明细数据的采集，通过明细数据对传统统计数据进行核对，并进行进一步的数据分析和挖掘； 从技术角度看，一方面，在采集端，利用前端处理器的结构化数据库对数据进行预处理，分担部级数据中心的压力。 中心端采用基于Hadoop的混合分布式计算架构和存储架构。 大数据技术适用于海量数据的存储和快速处理计算。 在设计数据模型时，借鉴了数据仓库的设计理念，合理建立了数据模型。 业务需求变化。

在满足业务需求的前提下，充分利用自上而下的管理体系优势，制定技术标准，降低技术方案实施难度

该案涉及29个省级交通运输主管部门和网络收费管理部门。 由于各省交通运输部门信息化水平参差不齐，难以直接采用统一的技术方案实现各省数据采集。 在设计技术方案时，利用交通运输管理部门自上而下的管理体制，通过行政管理手段，制定并下发省级数据采集标准和规范，使数据采集方案标准与省级统一。成为可能，大大降低了平台建设的难度。

技术方案重点加强数据质量监控，提高数据质量

在平台建设过程中，已有29个省联网收费系统。 它们产生的数据结构不同，质量差异很大。 ——省部门信息中心——交通运输部 这样一系列的传输过程可以回传到部级系统。 在数据采集和传输过程中，由于网络因素，存在数据泄露、重传等现象。 因此，项目 技术方案的设计着重于加强对数据质量的监控，为所有采集领域制定质量标准，从不同阶段的数据量监控、字段逻辑合理性监控、以及数据传输过程的监控。

效益评估

本案例提出的基于大数据技术的交通监控数据采集与处理方案，为交通监控大数据的采集与处理提供了一种新的技术途径。 研究成果促进了大数据技术在行业管理中的应用收费站etc通行数据分析，大大提高了交通运输行业大数据的综合处理能力，解决了当前制约行业数据综合效益的技术瓶颈，为充分挖掘和应用提供可靠技术。发挥行业数据优势，推动行业信息化发展水平不断提升，进一步提高行业管理效率。 同时，基于大数据技术的交通监控数据采集与处理方案，基于各种开源大数据技术。 采用该方案构建行业大数据采集和处理的信息系统，将无需购买昂贵的Oracle、DB2等数据库软件，可大大节省系统建设费用，具有很强的经济效益。