Convolutional Neural Network Based Unmanned Ground Vehicle Control via Deep Reinforcement Learning

Liu, Yongxin; He, Qiang; Wang, Junhui; Wang, Zhiliang; Chen, Tianheng; Jin, Shichen; Zhang, Chi; Wang, Zhiqiang

doi:10.1109/iccr55715.2022.10053931

Cited by 2 publications

(1 citation statement)

References 17 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…However, the effect of moving obstacles was not considered. Liu [15] proposed a model based on the combination of DQN and CNN in order to reduce the cost of human and material resources and improve the efficiency of power line inspection by introducing UGV into circuit inspection. However, there is still a gap between its use of discrete action space algorithms and the continuous action space of the real environment.…”

Section: Introductionmentioning

confidence: 99%

Unmanned Ground Vehicle Path Planning Based on Improved DRL Algorithm

Liu,

Chen,

Zhang

et al. 2024

Electronics

View full text Add to dashboard Cite

Path planning and obstacle avoidance are fundamental problems in unmanned ground vehicle path planning. Aiming at the limitations of Deep Reinforcement Learning (DRL) algorithms in unmanned ground vehicle path planning, such as low sampling rate, insufficient exploration, and unstable training, this paper proposes an improved algorithm called Dual Priority Experience and Ornstein–Uhlenbeck Soft Actor-Critic (DPEOU-SAC) based on Ornstein–Uhlenbeck (OU noise) and double-factor prioritized sampling experience replay (DPE) with the introduction of expert experience, which is used to help the agent achieve faster and better path planning and obstacle avoidance. Firstly, OU noise enhances the agent’s action selection quality through temporal correlation, thereby improving the agent’s detection performance in complex unknown environments. Meanwhile, the experience replay is based on double-factor preferential sampling, which has better sample continuity and sample utilization. Then, the introduced expert experience can help the agent to find the optimal path with faster training speed and avoid falling into a local optimum, thus achieving stable training. Finally, the proposed DPEOU-SAC algorithm is tested against other deep reinforcement learning algorithms in four different simulation environments. The experimental results show that the convergence speed of DPEOU-SAC is 88.99% higher than the traditional SAC algorithm, and the shortest path length of DPEOU-SAC is 27.24, which is shorter than that of SAC.

show abstract

Section: Introductionmentioning

confidence: 99%

Unmanned Ground Vehicle Path Planning Based on Improved DRL Algorithm

Liu,

Chen,

Zhang

et al. 2024

Electronics

View full text Add to dashboard Cite

show abstract

Методи Та Засоби Визначення Координат Мобільних Платформ За Умови Дії Завад

Цмоць,

Теслюк,

Опотяк

et al. 2024

SBUNFU

View full text Add to dashboard Cite

Сформульовано вимоги до системи інтелектуального визначення координат мобільних платформ за умови дії завад, визначено основні етапи розроблення системи. Запропоновано розроблення системи здійснювати на базі інтегрованого підходу, який охоплює: методи нейромережевого оброблення та аналізу даних від навігаційних сенсорів; методи машинного навчання нейронних мереж; методи навігації; методи збирання та оброблення даних із давачів за умови дії завад і неповноти інформації; сучасну елементну базу. Обрано проблемно-орієнтований підхід для реалізації системи, який передбачає поєднання програмних і апаратних засобів та такі основні принципи розроблення: адаптації до змін у середовищі; системності; змінного складу обладнання; модульності; відкритості програмного забезпечення; сумісності; спеціалізації та адаптації апаратно-програмних засобів до структури алгоритмів; використання комплексу базових проектних рішень. Розроблено структуру системи, основними компонентами якої є модулі: навігаційних давачів; бездротового зв'язку та захисту даних; оброблення, аналізу та відновлення втрачених даних; нейромережевого підвищення точності вимірювання параметрів руху та визначення географічних координат; нейромережевого прогнозування географічних координат і маршруту руху; збирання та збереження даних; визначення географічних координат і управління рухом. Вдосконалено метод нейромережевого сингулярного спектрального аналізу, який за рахунок відкидання головних компонентів, що вносять шуми, забезпечив підвищення точності вимірювання параметрів руху. Показано, що використання сингулярного спектрального аналізу є доцільним у задачах підвищення точності вимірювання параметрів руху та прогнозування вихідних параметрів динамічних об'єктів. Визначено, що нейромережевий спектральний аналіз порівняно з класичними методами немає обмежень на вимірність, є швидким, неітеративним і не нагромаджує похибки.

show abstract

Convolutional Neural Network Based Unmanned Ground Vehicle Control via Deep Reinforcement Learning

Cited by 2 publications

References 17 publications

Unmanned Ground Vehicle Path Planning Based on Improved DRL Algorithm

Unmanned Ground Vehicle Path Planning Based on Improved DRL Algorithm

Методи Та Засоби Визначення Координат Мобільних Платформ За Умови Дії Завад

Contact Info

Product

Resources

About