基于航道物联网感知网的统一通讯服务（IOT）平台研究采购需求.docx

基于航道物联网感知网的统一通讯服务QoT）平台研究采购需求1 .项目研究目标研究航道物联网，提取道、标、船、闸、过江、跨江、临江、工程工地等物理实体的感知数据，将物联网和现有的航道系统互联网整合起来，构建统一的航道物联网平台，统一整合现有、在建和未来建设航道信息化系统资源，对整合的航道物联网内的航道传感器及设备、云端系统、应用系统和航道基础设施等实施实时的数字化管理和控制，通过不断集成嵌入多维度的智能化体系模块,实现“云、网、边、端”的协同高效贯通、微服务架构下具有统一标识航道物联化设备之间的有效数据融通、以及平台前端、后台和数据库之间多种方式的互联互通。航道物联网平台聚焦航道基础设施数字化体系建设的硬件层以及数据传输层协议设计，针对现有通讯服务平台存在的无法进行精细化管理、灵巧扩展和平滑升级等问题，基于微服务架构，提供具有更低的接入成本、更强的数据解析能力和更丰富的多维融合平台接口的设计建议，帮助完善和规范数据接入标准和协议。充分利用大数据、云计算、5G和物联网技术为智慧航道信息化系统提供数据存储和智能决策服务的相关指导，提出多维感知体系构建的相关方案建议，助力推动水运行业数据资源整合与深度应用，提升航道信息化管理水平。2 .项目研究内容2.1. XX省航道终端设备的物联化方案研究根据XX省航道业务应用场景，研究航道物联化终端设备的网络通讯问题，重点研究航道前端设备和后台数据库的无线通讯问题。为了保证航道物联的丰富性和业务覆盖性，研究分阶段建设的航道业务系统物联化终端设备方案。一是航标遥测遥控终端、水位遥测遥报终端、桥梁净高监测终端、船舶流量监测终端等现有航道物联化终端设备的物联化方案，以及桥梁防撞预警、综合水文、流速流量等新建业务的物联化方案。二是以航标工作船终端为典型代表的未来新建业务的物联化方案，以及满足航道物联化终端设备扩展的通用物联化方案研究。具体研究包括：2.1.1, 现有航道物联化终端设备的物联化方案研究（1）通讯协议研究及技术分析对航标遥测遥控、水位遥测遥报、桥梁净高监测、船舶流量监测四种终端的物联化情况及无线通讯状况进行分析，同时调研新增的“桥梁防撞预警”、“综合水文”、“流速流量”三类终端设备的物联化建设现状，针对通讯服务平台统一现有及新增终端通信协议、无线接入方式以及数据传输方式等在兼容性和可扩展性方面存在的不足，提出现有物联化设备的通讯及接入方法的改造和升级方案，实现现有终端设备的有效互联互通和相关航道物联化应用，为航道物联化提供设备互联和数据支撑，启示未来新增航道业务的物联化建设。（2）无线接入技术研究当前，所有设备所需无线网络连接方式有局域网和广域网两种。局域网连接方式主要为蓝牙、ZigBee.WiFi等，这是个人穿戴设备、消费电子设备、仓储与物流设备、智能家居等终端设备采用的网络技术。广域网连接方式主要是借助电信运营商提供的蜂窝数据网络连接，如3G、4G、5G等，在交通、能源等各行业终端广泛采用。为了更好地实现终端设备的有效互联互通，根据流域面积宽广、部分航道流经峡谷和大桥等遮蔽物导致信号会减弱甚至消失、电力需求、电池供电选择、物理障碍的存在以及成本等特点，IOT平台推荐使用低功耗广域网络（LowPowerWideAreaNetWOrk,简称LPWAN）中的NB-IOT的连接技术。2.1.2, 满足航道物联化终端设备扩展的通用物联化方案研究（1）在现有和新增航道物联化终端方案的基础上，考虑智慧航道/感知航道未来感知终端业务扩展需求，研究并提出统一通用的航道感知终端的物联化方案,兼顾现有、新增和未来扩展终端的物联化应用，支持XX省航道终端设备在航道物联网平台上的接入，保证设备端和云端可以稳定的进行双向通信第一，实现数据更好地传输，IOT平台可使用WebSocket连接的通讯方式，具有节约带宽、节约资源和实时高的特点。第二，实现终端设备更好地有效互联互通，根据流域面积宽广、部分航道流经峡谷和大桥等遮蔽物导致信号会减弱甚至消失、电力需求、电池供电选择、物理障碍的存在以及成本等特点IOT平台推荐使用LPWAN中的NB-IOT的接入技术,具有信号覆盖面大、交互功耗低、经济性高的特点。第三，实现客户端主题化定制，IOT平台可支持MQTT、AMQP、XMPP、DDS等多种支持实时的发布/订阅的物联网通讯协议。第四，实现船舶精确定位，IOT平台可使用RTK技术，通过组成差分观测值，进行差分计算处理，能在不到一秒钟内给出厘米级别的定位结果。第五，从保障物联航道数据安全传输出发，需要制定终端设备加密方案，加密后，设备上存储的所有数据都需要输入正确的凭证才能读取，保证物联网数据安全。（2）研究航道物联化网络设备的无线通讯协议为了使IOT平台实现终端设备与云端之间的通信传输，更好支持赋能云对接、设备直连等多种接入方式，同时结合物联网平台，设备可支持MQTT、HTTP等多种协议，对比HTTP协议由于占据过大的资源而几乎不应用在嵌入式终端设备之中和基于UDP连接通信的CoAP协议，基于TCP连接的MQTT协议有着更高的可靠性，更适合于有报警信息和控制命令的系统，并且MQTT协议采用异步通信方式，无需应答，有着更好的工作性能，故在使用Modbus协议进行数据采集，并对数据进行封装后，IOT平台可选择通过MQTT协议与云服务器平台连接，作为两者之间通信的标准协议。（3）研究并设计物联化航道终端设备的SDK或者驱动方案，方便物联网终端设备进行硬件植入设计，保证物联网终端可以快速上云；结合物联网平台，可支持4G/5G、NB-IoT、WiFi等多种接入方式，方便不同航道场景（道、标、船、闸等应用场景）设备进行多模组网。第一，总体架构可分为驱动SDK、设备数据管理、设备管理、应用层、安全负载以及运维监控6大组成部分。其中驱动SDK层位于设备管理层和设备数据管理层之间，用于提供标准或者私有协议连接物理设备的SDK,负责向设备的数据采集和指令控制，若有新增的协议，可快速扩充SDK,基于SDK可实现驱动的快速开发。第二，终端设备接入IoT平台的具体流程为：首先，航道终端设备想要接入IOT平台，需要先向管理平台申请注册，成功之后才能进行数据传输。终端设备传输数据到平台的时候，平台先对数据的发送方，即终端设备进行鉴权，只有设备已经进行注册了，才接收该终端数据，同时把鉴权结果反馈给终端。其次，平台对已经注册的终端数据进行收集和解析，根据不同终端类型或数据类型进行不同格式的解析处理，并存入数据库。第三，每种通讯协议对应一个SDK服务，用于对终端数据的解析，由终端鉴权服务适配对应的SDK服务，例如倾角传感器类的终端设备有专门的SDK为其适配。第四，所有在平台上注册的终端，上传的数据都由统一入口（网关）进入，由网关将不同通讯协议的数据转发到对应的数据驱动，对数据进行解析，并拆解入库，并提供对应的数据接口，用于第三方系统对接，获取数据。2.2. XX省航道物联网平台设计梳理现有航道通讯服务平台，结合智慧航道物联网应用需求，设计适合智赛航道发展和业务需求的XX省航道物联网平台，为航道物联化应用和物联网平台建设提供指南。具体研究内容包括：2.2.1, XX省中心服务平台的调研与优化建议对省航道通讯服务平台的建设和使用情况进行调研，具体针对平台底层框架升级、服务重构等平台优化需求，设计基于微服务架构和集群部署架构的统一通讯服务（IoT）平台改造和优化建议，以满足更多种类航道终端接入、上报数据、下发控制指令等。2.2.2, 设计XX省统一的航道物联网平台总体框架设计XX省统一的航道物联网平台总体框架，重点对平台的设备管理层、驱动SDK层、设备数据管理层、应用层、负载安全层、运维监控层进行详细设计或规划。（I）设备管理层设备管理层将提供对设备进行管理的能力，用于解决对多种类型设备进行管理的问题，主要包括状态管理、设备控制和设备连接管理等功能。状态管理是管理层对设备的状态进行管理，包括状态上报和状态查询等，当设备状态发生变更时，将会逐个或批次上报当前状态数据。设备控制是管理层对设备进行控制，当设备端接收到管理层下发的控制指令数据后，进行指令数据解析、指令识别以及指令执行，并回复给管理层指令的执行结果。设备连接管理用于控制每个终端设备之间的连接关系和连接状态。（2）驱动SDK层该模块用于通过各种协议例如TCP、MQTT等与设备建立通讯关系，实现具体交互。（3）设备数据管理层该模块用于对各种终端设备上报的数据进行管理,包括数据收集、数据查询、数据转发等，当终端设备进行数据上报时，管理层将数据收集起来，并分类进行存储，管理层需要查询数据时，按关键字进行查找，实现快速定位。当终端设备发出数据请求时，管理层先检测其权限，若有权限，则将对应数据转发给终端设备。（4）应用层应用层位于物联网平台的最顶层，与用户直接进行交互，包括数据开放、报警服务等功能。应用层可以直接给用户提供所需的数据，当物联网平台的某个终端设备出现错误时，应用层可以直接给用户提供报错信息，让用户进行处理。（5）负载安全层负载安全层用于对物联网平台进行安全保护，包括负载均衡和用户鉴权等。负载均衡用于对终端设备进行负载监控，保证每一个终端设备都不会超载。用户鉴权用于对用户进行权限检查，判断该用户是否有权限访问某个终端设备。（6）运维监控层运维监控层将提供对平台进行维护、监控以及错误排查的能力，主要包括日志查询等。运维监控层以日志形式记录设备的通信和控制操作信息，并通过搜索引擎技术,提供多关键词检索等服务,通过日志查询服务,可以对设备进行诊断，定位设备问题，为设备的问题修改提供依据。2.3. 航道物联化设备管理和监控运维应用框架研究本项目对航道物联化设备管理和监控运维应用框架研究，具体内容包括：2.3.1, 物联化设备管理研究重点研究包括航道终端设备（道、标、船、闸等终端设备）生命周期管理、高级搜索、标签、设备任务、设备影子、设备文件、数字挛生等服务，提供高可靠高安全的航道设备管理能力。2.3.2, 研究并提出传感器和设备的数据处理方案重点研究M2M（传感器之间）通信、设备数据存储、设备数据计算、消息队列服务等，满足不同场景下的业务需求。23.3. 研窕并提出航道物联化设备的监控运维应用方案新的业务场景和业务需求对物联化设备的监控运维提出了新的要求，通讯服务平台需要具备与航道物联化设备的实时监控和交互运维能力。重点研究内容包括：实例级监控报警、运维大盘、全链路日志分析、设备OTA升级、远程登录、设备智能诊断和安全中心服务，开发一整套监控和维护物联化设备的运维系统。2.4. 航道物联化数据库的改造与升级研究本项目研究并设计物联化航道数据库改造与物联化升级方案，主要研究和设计数据结构改造和升级方案，根据物联化终端通讯协议及业务逻辑来进行，重点对终端设备进行数据建表，以及对服务进行划分建库。具体研究内容包括：2.4.1, 数据库结构的调研和优化建议数据结构的设计和业务逻辑、已有或者要制定的终端通讯协议有着不可分割的关联性，也是至关重要的。主要设计工作包括三个方面：(I)省航道通讯服务平台己经对四类终端数据进行建表管理，并与通讯协议一一对应，本项目通过研究和设计，对应物联化数据表进行梳理和升级调整，并融入设备管理、设备运维监控管理等数据内容；(2) IOT平台数据解析的流程为航道相关终端设备注册到“统一IoT通讯服务平台”后，平台会对终端数据进行收集和解析，将获取的GPSRTU、北斗RTU、测深仪等数据根据不同终端类型或数据类型进行不同格式的解析处理，并存入数据库。(3)为了更高效的管理、持续增加、修改和维护数据，最大化业务应用价值，IoT平台可在数据库表上建立视图。视图是由数据库中的一个表或多个表导出的虚拟表，是一种虚拟存在的表，方便用户对数据的操作，可以将复杂的查询或几个表的部分列构建成一张视图，用户只要查询视图就可以获取想要得到的信息。使用视图的作用有：第一，简单。用户不需要关心后面对应的表的结构、关联条件和筛选条件，对用户来说已经是过滤好的复合条件的结果集。第二，安全。使用视图的用户只能访问他们被允许查询的结果集，对表的权限管理并不能限制到某个行某个列，但是通过视图就可以简单的实现。第三，数据独立。一旦视图的结构确定了，可以屏蔽表结构变化对用户的影响，源表增加列对视图没有影响。数据体系的设计重点把握以下5个要点：第一，数据易用性。数据储存的设计在LogicData(inner)层中以数据的柔软性和非冗余为重点，在LogiCData(outer)层提供外部数据的时候，着重考虑一次性能提供足够用的信息，减少业务场景中不需要的信息。第二，主、副数据及数据解耦。在数据设计时，降低数据间的相互依赖程度。首先确定微服务中主要使用的核心数据(主数据)，其他数据这参照或直接映射其他微服务APl的数据，以此降低数据间的耦合程度；其次，将具有数据间关联关系的表建立关联表，对数据本身不产生影响，当产生数据关联的业务需求淘汰时，则直接释放关联表，不影响原数据表设计并实现数据解耦。第三，分库分表。随着平台使用时间和业务需求的增加，从传感器和终端设备获取的数据呈指数式增长，这些数据储存在单一数据库或单一数据表中会导致数据库系统压力暴增，采用分库分表的方式可以合理的储存和利用大规模的数据。以终端设备数据为例，分库是把全部终端设备数据按着近期数据应用库、历史数据库、历史归档数据库分库储存。近期数据应用库是储存业务需要的近期终端设备数据；历史数据库是储存最近三个月和一年的终端设备数据，仅当管理员有需求要调出数据时才使用；历史归档数据原则上日常不使用，只用于备查和统计分析等需求。第四，多源数据匹配。在航道业务的微服务架构中，除了接收传感器和终端设备的数据,还需要接收如图像、视频等多媒体数据流和各种异构数据，如XML.CSV等。这些数据需要在非关系型数据库中进行管理，使用MongoDB等数据库，将不同性质的数据源配置对应的读写适配器，将其统一调度。第五，多源数据缓存。接收并处理海量的终端设备数据对平台服务器性能提出了新的要求，需要优化通讯服务平台的数据处理，提高平台的响应速度。数据缓存是用内存性能换取硬盘响应时间的方法，将近期需要反复使用的数据放到内存中，大幅度降低系统对磁盘等硬件设备的性能开销。使用Redis和MongoDB这类数据库寄存业务数据，用于实时数据的查找。2.5. 应用示范结合航道业务系统承建单位开展航道物联化业务应用示范，结合本项目研究分两类典型示范。第一类为船舶流量监测应用示范；第二类为新增的、具有一定挑战性的综合水文监测应用示范。具体内容如下：2.5.1, 船舶流量监测应用示范船舶流量是单位时间内通过水域中某一地点的所有船舶的数量、航向、总吨位等统计数据的集合；是表征给定水域水上交通状况的基本量，是内河水运的重要信息，同时也是航道发展定位、基础设施建设以及航道管理策略制定等决策的重要依据。船舶流量监测系统是用于通航船舶上下行流量的统计，船舶长、宽、高、舷高等船舶三维特征数据的测量，并分析得出船舶航速、是否载重、是否超高等信息，可作为桥梁防撞检测的重要基础数据。本次应用示范是利用船舶流量系统的前端采集设备，将实时获取的船舶数量通过无线传输方式采集接入平台，通过某段水域内船舶流量和吨位的监测、统计、记录和分析，用于了解和掌握船舶交通量数据，包括航道船舶密度、船舶流量空重载等等，提供给各领域应用系统实现流量趋势分析，可按天、周、月、年或者自定义时间段进行趋势分析。另外通过数据架构设计，确定数据应用视图，数据逻辑架构、存储实现机制、存储优化技术及针对海量数据存储管理的分级策略，为整个航道系统提供科学、规范和高效的数据服务能力。2.5.2, 综合水文监测应用示范水文监测是对自然水域的时空分布以及相关要素信息变化规律进行测量、监控、分析和预警的工程，全面综合地监测航道水文能够增强航道管理部门对航道水文信息的分析能力，增强相关部门对航道的规划调度和航道的利用率。综合水文监测系统主要接收和分析实时水文监测数据，定时采集监测设备和测量设备的原始数据。原始数据经过数据清洗、数据加密后汇入系统数据库中，监测系统将符合使用质量的数据通过水文大数据分析后将监测结果输出到系统管理端，同时监测系统对监测结果进行水文状况标记和异常警告提醒。在终端设备传输原始数据的过程中，监测系统需要清洗处理的数据问题主要有接收延迟、连续时序数据部分缺失、整段时序数据缺失、数据误差过大等。物联化的综合水文监测系统针对发送数据缺失的设备，发送相关指令使终端设备再次发送数据。监测系统对数据误差过大的问题根据当地水文条件设定上下阈值进行数据拦截，并将多次出现误差过大的设备及时通知到管理人员。监测系统记录所有数据传输和异常问题，以便设备在维护阶段时提供异常记录给设备运维人员进行针对性调整。2.6. 决的关键技术问题本项目主要建设内容为基于航道物联网感知网的统一通讯服务（IOT）平台研究。拟解决的关键技术问题主要包括：（1）研究并提出航道传感器与设备物联化设计方案，研究并设计航道物联化设备管理和监控运维应用框架，提出现有航道信息化系统前端设备的物联化改造与升级措施和要求，实现航道前端设备与航道云平台与大数据平台的互联互通,为信息化业务系统和智能决策系统提供数据支持；（2）开展基于XX省航道物联化平台的云平台和大数据应用研究，提出XX省航道物联化数据库的改造与升级方案；（3）研究XX省航道物联网建设方式与平台构建,提出相应升级与改造方案;（4）结合航道业务系统承建单位开展航道物联化业务应用示范，包括“船舶流量监测”、“综合水文监测”等终端物联化应用示范。3 .考核指标3.1. 平台关键指标（1）拥有海量的终端接入基于航道物联网感知网的统一通讯服务（IOT）平台的微服务架构搭建完成后，支持航标遥测遥控终端、桥梁净高终端、水位监测终端、船舶流量终端、综合水文监测终端、桥梁防撞预警终端、流速流量监测终端七类型终端的数据接入,系统具备扩展性，随着实际业务的发展，后续若需接入更多类型的终端，可快速扩展接入的终端类型。（2）适应高并发量的终端通讯系统支持多种类型终端的接入，对系统的并发量也有了相应的要求，后续随着终端的不断接入，对系统的并发量要求也会越来越高，系统设计阶段考虑到此种情况，预留了横向增加终端连接服务的设计，分散单个终端连接服务的压力。（3）支持多种类的通讯协议类型系统支持SoCKET（TCP、UDP）通讯协议的连接，对通讯协议的格式都做了约束，统一格式，终端接入平台不仅需要适配平台提供的通讯协议，上报的数据也需和平台定义的格式一致。预留可扩展MQTT、MC）DBUSTCP等其他类型通讯协议连接的能力，为后续拥有其他通讯协议的终端设备接入提供平台能力支撑。3.2. 平台可靠性指标（1）系统响应速度查询检索简单查询响应速度2秒；复杂和组合查询响应速度8秒。查询结果可以按照一定原则进行排序、保存；查询结果可以显示为图形和图表。用户并发量和吞吐量支持同时在线用户数大于1500个；正常情况下并发访问量应不小于300个。（2）可靠性能够向各类用户提供7*24小时的不间断服务，由于软件问题导致的操作失败率不超过0.2%。（3）有效性系统的有效性应不低于99.9%,也就是说系统失效终止运行（包括故障修复）的时间与正常运行的时间比率不应超过0.1%。如果按照一年（365天）的时间来计算，那么系统非计划停机时间为：365X24X0.1%=8.76小时。（4）健壮性重要操作必须返回成功或失败信息；某个应用进程或模块的故隙不能导致其它进程或模块不可用，更不能导致系统崩溃；发生用户操作错误或失败的情况下，系统能够继续运行，功能不受影响。（5）安全等保安全采用多种安全技术和安全策略，建立系统安全保隙体系；确定数据使用范围，对用户访问权限进行控制，对重要用户的操作进行跟踪记录；对重要和敏感数据进行加密传输；对系统及数据库进行安全备份与恢复；进行网络访问安全管理，有效防止计算机病毒和黑客攻击；网络查询，要求数据的访问安全，数据库不受到非法访问。根据GB/T22239-2019信息安全技术网络安全等级保护基本要求，统一IOT通讯服务平台的业务信息安全和信息系统安全等级定级要求为三级标准。4.研究成果本项目以XX省航道为试点验证区域，研究构建基于航道物联网感知网的统一通讯服务（IOT）平台，交付物如下（成果文件包括纸质文本和电子文本，电子文本文件采用pdf和word格式文件）：（1）航道物联网平台研究报告（1份）。国内外物联网研究现状（基于物联网系统开发和IOT建设相关书籍和文献、专利等），同时调研XX省航道物联网建设情况与现状。（2）航道物联网建设规范指南（1项）。针对航道物联网现状以及未来中长期建设目标，形成阶段性的航道物联网建设规范指南。（3）航道物联网科学问题研究汇编。（1份）