文章快速检索     高级检索
  北京化工大学学报(自然科学版)  2022, Vol. 49 Issue (5): 59-66   DOI: 10.13543/j.bhxbzr.2022.05.008
0

引用本文  

李子阳, 张东胜, 杜邦. 基于AR的智能安全巡检系统[J]. 北京化工大学学报(自然科学版), 2022, 49(5): 59-66. DOI: 10.13543/j.bhxbzr.2022.05.008.
LI ZiYang, ZHANG DongSheng, DU YanBang. An intelligent safety inspection system based on ar technology[J]. Journal of Beijing University of Chemical Technology (Natural Science), 2022, 49(5): 59-66. DOI: 10.13543/j.bhxbzr.2022.05.008.

基金项目

国家重点研发计划(2021YFB3301100)

第一作者

李子阳,男,1996年生,硕士生.

通信联系人

张东胜,E-mail: zhangds@mail.buct.edu.cn

文章历史

收稿日期:2021-12-31
基于AR的智能安全巡检系统
李子阳 , 张东胜 , 杜邦     
北京化工大学 机电工程学院, 北京 100029
摘要:针对化工企业日常工作的重要一环—设备运维和企业安全巡检工作中存在的效率低、规范性差等问题和现有方式的监管难、档案管理难等弊端,结合目前发展迅速的增强现实技术(augmented reality,AR)技术,同时运用音视频即时通讯远程协助和图像识别技术,设计了能够较好解决上述问题和弊端的AR智能安全巡检系统。参考危险与可操作性(HAZOP)、保护层分析(LOPA)和故障模式及影响分析(FMEA)报告,开发了一套从制定、发布到执行、审核的完整的巡检任务流程和AR巡检系统,可帮助企业更好地落实安全管理工作。
关键词智能巡检    增强现实    远程协助    
An intelligent safety inspection system based on AR technology
LI ZiYang , ZHANG DongSheng , DU YanBang     
College of Mechanical and Electrical Engineering, Beijing University of Chemical Technology, Beijing 100029, China
Abstract: Equipment operation and maintenance and enterprise safety inspection are important elements of the daily work of chemical enterprises. This paper describes the combination of rapidly developing AR technology with audio and video instant messaging and image recognition technology to solve the problems of low efficiency and poor standardization, as well as the disadvantages of existing methods such as difficulties in supervision and file management. An AR intelligent safety inspection system that can better solve the above problems and overcome the disadvantages has been designed. By reference to HAZOP, LOPA and FMEA reports, the system encompasses a complete patrol inspection task process from formulation to release implementation and audit to help enterprises better implement safety management.
Key words: intelligent inspection    augmented reality    remote assistance    
引言

化工企业的设备运维和安全巡检是确保生产资料和工作人员安全生产工作的重要保障。在巡检工作中,巡检员按照预先制定好的计划巡检,到达指定的位置对巡检对象完成数据采集、风险辨识、隐患排查等工作内容,可以有效保证企业生产和设备运行中存在的风险、隐患和异常时刻得到密切关注。

化工企业目前的巡检工作存在着诸多问题[1],例如巡检员工作效率低,需使用纸质清单到现场逐一检查后再到办公区录入数据,期间极有可能出现数据丢失,而且无法应对紧急情况;数据和档案利用率低,巡检工作可以记录大量设备和环境的数据,而纸质形式的档案不便于查找利用,且在当今的大数据时代,无法形成统计分析结果正向作用于企业管理,使得长时间积累下的数据被浪费;从管理者的角度看,难以掌握巡检工作的具体落实情况,导致对企业存在的风险隐患模糊不清,一旦发生事故,难辞其咎。

增强现实技术(augmented reality,AR)是可以将虚拟数据与现实世界融合的技术,同时运用多媒体、三维建模、实时跟踪注册、智能交互等多种技术手段将计算机生成的文字、图像、三维模型、视频等虚拟信息模拟仿真后,应用到现实世界,两种信息互为补充,从而实现对真实世界的“增强”[2]。目前,在工业领域中,借助增强现实技术的高交互性,通过手势、点击等识别来实现交互[3],许多学者设计了设备巡检维护的AR系统。何明等[4]为解决配电站房设备数据采集困难问题,根据AR技术设计了智能巡检系统,利用AR眼镜收集设备的图像和温度等数据,大大提高了巡检效率。李大勇等[5]针对变电站设备巡检员经验不足、现场缺陷处理效率低等问题,利用AR技术实现了专家远程协助和访问知识库来辅助工作人员巡检,大大降低了安全事故的发生几率。然而,目前针对化工企业的安全巡检系统的研究和应用案例较少,因此本文设计了一套针对化工企业设备运维和安全巡检的AR系统,结合运用AR技术以及互联网即时通讯和数据库技术,协助一线工作人员进行巡检工作,辅助管理层切实掌握企业的潜在隐患和风险。

1 系统模型

本文设计的AR巡检系统模型如图 1所示,系统分为前端操作系统、后台管理系统和服务器3个部分,各部分的具体说明如下。

图 1 AR巡检系统模型 Fig.1 Inspection system model

(1) 在前端,巡检员佩戴AR智能眼镜实现辅助巡检和设备运维功能;通过网络请求可连接服务器和数据库,进行在线巡检、远程指导交互以及访问知识库。

(2) 在后台,系统管理员和专家可以实现创建巡检任务、监督审核巡检过程和结果、远程指导等功能;此外,所有巡检任务产生的数据存储在服务器中,作为企业档案留存,可在后台按需查找,随时调取。

(3) 主要采用云端服务器来辅助实现音视频通讯功能,包括录制服务器、媒体服务器和实施转码服务器,用来建立通讯、数据转码、数据分发和数据存储,贯穿整个巡检周期。

2 AR巡检系统运行流程设计

AR智能巡检任务实现的整个流程涉及企业一线员工和管理者两个层面:一线员工包括执行巡检任务的部门负责人和巡检员,以及对风险隐患和设备故障进行治理和维修的技术员;管理者包括发布巡检任务的安全部门负责人,以及企业管理者成立的安全委员会成员。

图 2为本文根据安全风险分级管控、隐患排查治理双重预防机制制定的安全巡检系统在闭环管理过程中的运行模式[6]。巡检员使用AR智能眼镜执行巡检任务, 进行危险源辨识、风险等级评估、排查隐患等工作,采集设备和环境信息上传到数据库,管理人员在后台根据发回的数据执行制定风险清单、安排治理措施、更新巡检计划等操作。AR巡检运行流程的具体说明如下。

图 2 闭环管理机制 Fig.2 Closed loop management mechanism
2.1 发布巡检任务

运行AR巡检系统需要从发布巡检任务开始,其流程如图 3所示。

图 3 巡检任务发布流程 Fig.3 Release process of the inspection task

由企业安全部门负责人收集整理制定工单所需要的资料,包括危险与可操作性分析(HAZOP)、保护层分析(LOPA)、故障模式及影响分析(FMEA)等,根据分析报告指出的高风险隐患点制定巡检任务,做好准备工作后进入工单编辑器编辑工单,然后发布到线上;新工单上线后会先交由执行巡检任务的部门负责人对工单内容进行校验,如有异议可返回修改,无异议即可发布,交给巡检员执行巡检任务。

2.2 执行巡检任务

巡检工单通过校核后,会发布给指定的巡检员,巡检员接到通知后需要佩戴AR眼镜,按规定时间和指定地点执行巡检任务, 流程如图 4所示。工单会具体给出巡检步骤以及需要记录和上传的数据内容。若巡检员没有发现异常情况,则按要求提交巡检结果后即可以结束巡检。若发现巡检点的设备或环境中存在隐患,则需要通过AR巡检系统中的辅助功能对隐患进行等级和类型判断,并使用AR眼镜拍摄照片或录制视频上传到系统;针对一般等级的隐患可在结束巡检任务后,提交记录隐患信息的巡检结果报告,如果遇到知识盲区或不熟悉操作流程等困难,可以在AR巡检系统中选择视频连线功能,寻求专家的指导帮助;对于有重大风险隐患的情况,需要在AR巡检系统内选择紧急上报,该选择会将出现重大安全隐患问题的情况发送给安全委员会成员,通知企业负责人关注此紧急情况的处理。

图 4 执行巡检任务流程 Fig.4 Task process of the execute inspection
2.3 审核巡检结果

巡检员完成巡检后,巡检工单会流转到审核环节, 流程如图 5所示。执行巡检任务部门的责任人负责审核用户,需要对工单进行审批。对于一切正常的巡检结果报告,领导根据检查现场记录的数据,确认无误后通过审核;对于发现隐患的巡检结果,则需要关注巡检员在现场的治理情况。审核巡检员提交的文字、照片或视频记录的治理结果,如果没有进行治理,需要通过AR巡检系统将隐患信息发送至相应责任人进行治理;若隐患的责任归属不明确,属于尚未被定义的新隐患或风险点,需要通过系统上报安全委员会,并尽快集中讨论该情况。对于新定义的隐患或风险点,企业安全主管应及时变更巡检任务,更新数据库。

图 5 审核巡检结果流程 Fig.5 Review process of the inspection result
3 系统功能设计

为实现上述流程,本文为AR巡检系统设计了以下主要功能模块。

3.1 用户权限

AR巡检系统的用户模型一共有5种,分别为管理员、部门或属地责任人、巡检员、隐患治理负责人和安全委员会。管理员拥有最高权限,一般由企业安全主管担任,主要负责巡检任务的编辑发布、巡检执行情况的监督等工作;部门或属地责任人主要负责巡检结果的审核工作;巡检员执行巡检任务;隐患治理负责人需要对排查出的隐患和风险点进行治理和管控;安全委员会主要负责处理出现紧急或重大风险隐患的情况。

3.2 创建巡检任务

巡检任务由安全主管使用管理员账号编辑和发布,该权限只有管理员拥有。AR巡检系统提供设置任务内容、属性、类型和发布时间等功能,如图 6所示。

图 6 创建巡检任务 Fig.6 The create inspection task

任务属性中的责任人是指负责执行巡检任务部门的责任人和巡检对象所在属地的责任人二者;发布时间中的周期性发布和定时发布分别满足两类任务需要:一类是针对需要周期性执行的常规巡检任务,如日检、月检等;另一类是事故类比检查、节假日前隐患排查等类型的巡检任务。

3.3 执行巡检任务

AR巡检系统为巡检员提供帮助的具体功能如图 7所示。巡检前打卡签到,签到可分为扫描二维码和定位打卡两种;执行巡检任务时,AR眼镜具有输入文字、拍摄照片、录制视频的功能,辅助巡检员记录并上传数据;发现隐患时,AR巡检系统提供辅助判断风险等级和类型的功能,遇到困难可在AR巡检系统中视频连线专家寻求帮助。

图 7 执行巡检任务 Fig.7 The execute inspection task
3.4 统计分析

AR巡检系统在企业安全管理工作中使用一段时间后,会在数据库中记录大量关于企业设备设施、风险源和隐患点的数据,同时也会记录下巡检员和部门负责人等员工的工作情况。将以上两类数据作统计分析,则可得出在过去的一段时间内企业安全生产的薄弱环节,并加强管理;还可以监督员工是否按要求完成工作,让管理层可切实把握员工的工作情况。

4 系统实现

本文设计的AR巡检系统采用的硬件设备为微软HoloLens 2代一体式AR眼镜,它搭载骁龙850中央处理器,配备1个ToF摄像头和4个鱼眼摄像头,软件采用Unity3d、微软混合现实开发工具包(MRTK SDK)和Vuforia增强现实开发工具(Vuforia AR SDK)进行设计开发,同时结合HOZOP、LOPA和FMEA风险分析报告辅助系统的开发。

4.1 系统实现效果展示

图 8所展示的是系统管理员(企业安全主管)创建和编辑巡检任务的界面,可以分为上、下两个部分。上半区为图形化操作界面,其功能是设置巡检任务步骤数、为步骤添加标准流程和各种类型的参考文件。拖动左侧的彩色图标可以依次实现添加步骤、图片、PDF文件、视频和3D模型的功能。界面的下半区为编辑巡检任务属性的区域,管理员需要在此处为工单添加名称、执行时间、执行地点、巡检任务类型、巡检对象风险等级、属地责任人等信息。

图 8 创建巡检任务界面 Fig.8 Interface of the create inspection task

移动端的AR巡检系统使用Unity3d软件和MRTK开源开发工具包进行开发,主要使用其UI控件和手势识别功能。巡检员只需要通过手指在正前方做点击、抓取、拖动等动作,就可以对眼镜中显示的虚拟界面进行操作,演示画面如图 9所示。

图 9 AR眼镜操作画面 Fig.9 View of AR glasses operation

巡检员在执行巡检任务时佩戴AR智能眼镜抵达现场,然后登录AR巡检系统进行工作,系统的账号登陆界面和登陆后主界面如图 10所示。输入账号密码后,用手指点击登录进入系统首页,右侧是系统不同功能的入口,包括巡检工单、AR协作视频连线、消息系统、通讯录和我的信息5个模块。点击个人信息模块,可以在AR眼镜端操作更改联系方式、姓名、年龄等信息。点击通讯录模块,可以查看企业其他员工信息,并能够获取联系方式。AR协作模块可实现AR视频通讯功能,利用MRTK开发工具包中提供的网页即时通讯接口(web real-time communication, WebRTC)来实现。巡检员在现场使用该功能后,远程指导的专家通过系统的网页端与巡检员进行视频通话,能够看到通过AR眼镜传送来的现场画面。

图 10 巡检系统首页 Fig.10 Interfaces of the home page

在首页中点击工单模块,进入巡检任务列表,界面如图 11(a)所示,其中左侧是分类查询的列表,右侧是每一个巡检工单形成的任务卡片。卡片上显示任务的截止时间和执行地点以及负责人的联系方式等关键信息,方便巡检员查看。手指点击任务卡片,进入执行任务操作界面,如图 11(b)所示。最上方显示任务标题,标题下方的数字代表步骤编号,每个步骤都有对应的巡检任务说明和可查看的附件,位于界面的左下方。右侧是提交数据的功能区域,点击下方的图标可以进行切换,上传数据后点击完成即可保存。

图 11 巡检系统任务详情界面 Fig.11 Detailed interface of the inspection task

如果发现设备设施运行异常或风险点存在隐患,巡检员应点击下方的“状态”按钮进入到隐患上报和风险等级评定界面,如图 12所示。选择“异常”选项后,下方会显示初步进行隐患判定的功能区域。首先定义隐患类型,点击下拉菜单有4个选项,分别是人的不安全行为、物的不安全状态、管理原因和环境因素;然后进行等级判定, 5个风险等级分别为很低、低、中、高、非常高。系统提供简化版的作业条件危险性分析(LEC)法辅助判定依据,点击“去判定”按钮会进入辅助界面,如图 13所示。根据风险引发的事故对人和财产可能造成的伤害程度,及发生事故的可能性和频率选择对应的选项,系统会自动生成风险等级结果。

图 12 隐患上报界面 Fig.12 Interface for hidden danger reporting
图 13 风险评定辅助界面 Fig.13 Interface of the auxiliary risk assessment

巡检员根据每个步骤的具体要求完成状态判定、数据上传后,可以点击界面右上角的提交按钮,结束该项巡检任务。系统会生成一份结果报告,包含巡检员的工作执行信息和现场记录的数据信息,等待管理员在后台查看。

AR巡检系统运行一段时间后,会积累大量员工工作、设备设施运行和环境信息的数据,通过数据分析模块可以掌握安全生产现状和巡检工作执行情况,如图 14所示。对一段时间内的全部巡检任务可进行类型、数量、完成度、工作时长和巡检对象异常情况占比等统计学分析;对一段时间内被排查出的隐患点和异常情况,可进行类型比例统计、出现次数统计和所在属地出现频率等分析, 从总量、不同类型所占比例、特殊情况出现次数等不同的维度,采用饼状图、柱状图、玫瑰图等形式进行展示。

图 14 数据统计分析界面 Fig.14 Interface of the data statistical analysis

统计分析模块可以帮助企业安全管理员了解、掌握安全巡检工作真实的完成情况,不用到现场走访便能够了解生产区域的安全状况。

4.2 AR巡检系统的优势和应用效果

本文设计并开发的智能巡检系统运用了目前快速发展的AR技术、音视频即时通讯技术和图像识别技术[7],应用于化工企业安全巡检工作中具有以下优势。

1) 解放双手。在传统巡检工作过程中,通常采用普通巡检仪或携带巡检任务清单,巡检人员需要手持设备,不方便进行设备检查和调试操作。AR巡检系统可以解放巡检人员的双手,在增强现实注册空间内通过语音或手势交互操作,利用文字、图片、视频和3D模型等不同形式的可视内容获取信息,接受专家远程指导时也可进行双手操作。

2) 巡检工作流程化、标准化,效率和质量提升。将巡检工作操作运转的全流程由线下搬到线上,完成信息化和数字化。设计开发巡检系统,从制定计划、发布工单、执行任务、审核结果到最后统计分析实现流程化操作。让巡检员通过AR智能眼镜端的巡检系统来辅助、指导执行巡检任务,提供标准化的操作建议、信息查询和实时的远程专家指导帮助,使得巡检员的工作达到专业化、标准化的要求。通过以上方法,使得企业安全管理员、属地责任人、部门负责人和巡检员的工作可以被监督,工作记录可以被追溯,职责和责任划分明确,巡检工作的效率和质量得到大幅提升。

3) 明确职责界限,消除信息壁垒。巡检系统的流程设计和角色权限设置让企业各个部门、各个层级的领导和员工在安全生产管理工作中的职责实现了明确的界限划分。系统将巡检数据信息实现实时在线同步,企业高级管理者可通过巡检系统直接查看一线巡检员的工作情况和现场数据,一线员工也可以通过巡检系统联系安全专家和部门领导[8]。部门之间可以将巡检结果和隐患排查治理信息相互转交,高级管理层可以通过系统了解当前园区内的重大风险隐患点,及时采取管控措施,缩短信息传递的时间。

4) 促进安全管理体系循环运转,建立了安全风险分级管控和隐患排查治理两个闭环管理体系。加之系统提供的数据统计分析功能,使得企业安全管理能够吸取正向价值信息,不断优化提升,安全管理体系实现良性循环运转。

目前,所设计的AR智能安全巡检系统已经在天津某化工公司进行初步试运行,测试结果显示系统流程符合实际,能够满足企业对化工园区安全管理的要求。在执行巡检任务测试阶段,结果显示巡检员的平均任务完成时长较之前有明显的降低。同时根据参加测试人员反馈,在执行任务过程中,巡检系统提供的辅助引导功能可帮助其明确标准流程和操作规范,避免了漏检和误操作等问题。数据层面,安全管理员和企业领导在后台可以实时监控巡检执行情况,能够更方便快捷地掌握园区安全隐患的排查和治理信息,解决了之前信息传递耗时费力的问题。

5 结束语

本文设计并开发了基于AR技术的智能安全巡检系统,完成了系统在企业安全巡检中的应用试验。基于AR技术的智能安全巡检系统将各类安全风险分析报告、化工行业专家的知识经验与增强现实、音视频即时通讯、数据库等技术结合运用,能够辅助化工企业一线员工解决实际问题,并提供随时连线专家的求助接口,可以为企业管理者建立结构完善、运转高效的安全管理体系。

参考文献
[1]
赵学英. 浅析化工安全管理中存在的问题及对策[J]. 化工管理, 2019(34): 107-108.
ZHAO X Y. Problems and countermeasures in chemical safety management[J]. Chemical Enterprise Management, 2019(34): 107-108. (in Chinese)
[2]
胡天宇, 张权福, 沈永捷, 等. 增强现实技术综述[J]. 电脑知识与技术, 2017, 13(34): 194-196.
HU T Y, ZHANG Q F, SHEN Y J, et al. Overview of augmented reality technology[J]. Computer Knowledge and Technology, 2017, 13(34): 194-196. (in Chinese)
[3]
李桐, 刘文倩, 邹田春, 等. 增强现实(AR)技术的应用及前景分析[J]. 电脑知识与技术, 2018, 14(11): 252-253.
LI T, LIU W Q, ZOU T C, et al. Application and prospect analysis of augmented reality (AR) technology[J]. Computer Knowledge and Technology, 2018, 14(11): 252-253. (in Chinese)
[4]
何明, 陈莹莹, 张斌, 等. AR技术在配电站房巡检业务中的应用研究[J]. 现代信息科技, 2019, 3(1): 175-176.
HE M, CHEN Y Y, ZHANG B, et al. Application of AR technology in patrol inspection of distribution station buildings[J]. Modern Information Technology, 2019, 3(1): 175-176. (in Chinese)
[5]
李大勇, 杨畅, 张永伍, 等. 基于AR技术的变电站智能巡检系统设计与实现[J]. 微型电脑应用, 2020, 36(8): 92-94, 121.
LI D Y, YANG C, ZHANG Y W, et al. Application of remote assistance system for intelligent inspection of substation based on the AR technology[J]. Microcomputer Applications, 2020, 36(8): 92-94, 121. (in Chinese)
[6]
刘博. 基于双重预防机制化工安全管理创新模式[J]. 技术与创新管理, 2018, 39(4): 469-473.
LIU B. The research of a new chemical safety management mode based on the double prevention mechanism[J]. Technology and Innovation Management, 2018, 39(4): 469-473. (in Chinese)
[7]
侯颖, 许威威. 增强现实技术综述[J]. 计算机测量与控制, 2017, 25(2): 1-7, 22.
HOU Y, XU W W. A survey of augmented reality technology[J]. Computer Measurement and Control, 2017, 25(2): 1-7, 22. (in Chinese)
[8]
陈朝阳. 实行以人为本的化工安全管理的措施和意义[J]. 化工管理, 2021(34): 101-102.
CHEN C Y. Measures and significance of implementing people-oriented chemical safety management[J]. Chemical Enterprise Management, 2021(34): 101-102. (in Chinese)