Enhancing bus safety: A modular driver monitoring system

Abstract

Summary. In the area of road safety, the development of a Modular, Machine Vision-Based, Custom-Built Driver Monitoring System (DMS) for bus drivers has become imperative. This research presents a comprehensive system capable of detecting drowsiness, blinking patterns, and various forms of distraction, including the use of mobile phones, and one-handed driving. Leveraging the power of Mediapipe and YOLOv7 for real-time image analysis, as well as ROS2 for seamless data transfer, our system not only ensures the immediate safety of bus passengers but also offers expandable functionality, such as eye tracking and skeleton detection. Összefoglalás. A biztonságos tömegközlekedés iránti igény fokozza a járművezetőkre nehezedő nyomást a növekvő forgalmi torlódások miatt. Ezt súlyosbítja a közlekedési rendszer összetettsége és a fokozódó külső ingerek hatása, különösen városi környezetben. A közösségi közlekedésben alkalmazható, a közlekedésbiztonságot fokozó moduláris, gépi látáson alapuló, egyedi fejlesztésű járművezető-felügyeleti rendszer kifejlesztése az autóbuszvezetők monitorozására elengedhetetlen. Ez a kutatás egy olyan átfogó rendszert mutat be, amely képes érzékelni az álmosságot, a pislogási mintákat és a figyelemelterelés (disztrakció) különböző formáit, beleértve a mobiltelefon-használatot, és az egykezes vezetést. A Mediapipe és a YOLOv7 valós idejű képelemzésre, valamint a ROS2 adatátvitelre való felhasználásával rendszerünk nemcsak a busz utasainak biztonságát garantálja, hanem olyan bővíthető funkcionalitást is kínál, mint például szemkövetés és csontvázfelismerés (szkeleton). A rendszer alapvető célja az, hogy a szemmozgás, fejtartás és testtartás elemzésével pontosan azonosítja a járművezető fáradtságát, figyeli a pislogási mintákat az álmosság jeleit, és felismeri a közúti biztonságot veszélyeztető disztrakciókat. Továbbá a rendszer moduláris felépítése lehetővé teszi további érzékelők, például szemmozgás-követő rendszer, telemetriai eszközök vagy 5G-adapterek egyszerű integrálását, ami átfogó megfigyelést és adatfúziót tesz lehetővé a valós környezetbe történő adaptálás elősegítésére. A fejlesztett Járművezető Monitoring Rendszer a ROS2 keretrendszer segítségével integrált megoldást kínál a buszvezetők megfigyelésére. A rendszer alapvető képessége a fedélzeti kamerák által rögzített felvételeken a járművezető vizuális felismerése. Ezen túlmenően képes követni a vezető testén lévő kulcspontok, mint a fej, a törzs és a karok pozícióját, ami létfontosságú az ő testtartásának és mozgásának megértésében. Az egyediséget a vezetőfülke mérete és a buszvezető személygépjárműhöz mérten dinamikus mozgásképe adja. A rendszer az emberi arcot is részletesen elemzi, kiemelve a fontos arcpontokat, mint a szemek, orr és száj. Ez lehetővé teszi a tekintet irányának, arckifejezéseknek, valamint a fáradtság vagy stressz jeleinek azonosítását. Az adatok könnyebb értelmezése érdekében a rendszer egy vizuális ábrázolást is nyújt az észlelési folyamatról. Az adatok kezelése és kommunikációja a ROS2 keretrendszeren keresztül történik, amely strukturált módon rendezi az adatokat és támogatja a valós idejű feldolgozást és elemzést. Az összegyűjtött adatok tárolására a .rosbag fájlformátumot használjuk, amely lehetővé teszi az adatok hatékony rögzítését és későbbi felhasználását elemzésekhez és felülvizsgálatokhoz. A tanulmány a moduláris járművezető-felügyeleti rendszer felépítését, megvalósítását és tesztelését mutatja be, részletesen közli az alkalmazott algoritmusokat és technológiákat. A valós körülmények között végzett kísérletek eredményei bizonyítják a rendszer hatékonyságát, valamint a rendszer szélesebb közlekedési ökoszisztémákba való integrálhatóságát. A buszvezető monitorozása kapcsán kapott adatok hozzájárulhatnak a jármű és utasai biztonságának fokozásához. A járművezető figyelmének nyomon követése és a kognitív terhelés elemzése lehetőséget kínál a munkakörülmények optimalizálására és a balesetmegelőzési megoldások javítására.