RETRACTED ARTICLE: Solving the protein folding problem in hydrophobic-polar model using deep reinforcement learning

Abstract

The present article focuses on solving the protein folding problem with deep reinforcement learning (DRL) approach. The protein folding problem is an NP-hard problem and as we are proposing our approach in the hydrophobic-polar model, we deal with an NP-complete problem. Also, the protein folding problem is a combinatorial optimization problem. Combinatorial optimization problems are hard to solve optimally, that is why any attempt to improve their solutions is beneficent. Generally, this problem refers to the process of predicting the structure of a protein from its amino acids sequence. During recent years, the protein folding problem has attracted a lot of attention. The amount of time and expenses of using nuclear magnetic resonance imaging and crystallography for identifying the three-dimensional structure is the main reason of many proposed approaches. In this study, our approach models the problem as a DRL problem, and for enhancing its performance, we adopt long short-term memory networks for the approximation phase in the reinforcement learning algorithm. Using deep Q-learning approach and actor-critic algorithm with an experience replay mechanism overcomes the complexity of other proposed approaches which leads to better accuracy in less time. In addition, we analyzed the efficiency and effectiveness of the dueling deep Q-network technique for solving the protein folding problem. Providing a step-by-step implementation and modeling for solving the bi-dimensional protein folding problem with the DRL approach is the purpose of the present study which could be helpful for solving other omics and computational biology problems. However, a comparison between the DRL approach and other notable approaches (as it is available in Sect. 6) shows that our approach outperforms other approaches in finding the minimum value of the free energy, which is the main factor in the protein folding problem, in less time in any available case.

The New Geometric “State-Action” Space Representation for Q-Learning Algorithm for Protein Structure Folding Problem

“…, а також й підходи машинного навчання з підкріпленням, а саме Q-learning підхід [9][10][11][12]. Варто зазначити, що левова частина методів машинного навчання з підкріпленням Q-learning використовуються саме для передбачення вторинної структури білку, адже для такої задачі простір станів та дій суттєво менший [9,10,12].…”

“…, а також й підходи машинного навчання з підкріпленням, а саме Q-learning підхід [9][10][11][12]. Варто зазначити, що левова частина методів машинного навчання з підкріпленням Q-learning використовуються саме для передбачення вторинної структури білку, адже для такої задачі простір станів та дій суттєво менший [9,10,12]. У цій статті ми транслювали ідеї, що вищезазначені у роботах, для постановки та розв'язування задачі передбачення саме третинної структури білка з використанням Q-learning методу, а також формалізовано нове подання простору «стани -дії» для тієї ж задачі.…”

“…Загальний опис алгоритму Q-learning, який використовується для розв'язування задачі. Як показано у [9], Q-learning -це розширення традиційного підходу динамічного програмування, що розв'язує задачу, яку можна описати недетермінованим марковським процесом прийняття рішень [15]. При цьому функція розподілу ймовірностей визначає множину майбутніх потенційних станів системи, за умови виконання агентом певної фіксованої дії при певному поточному стані системи.…”

“…Використання простору станів та дій, поданих у [9], разом із заміною абсолютного кодування ланцюга на відносне є компромісним підходом, що частково вирішує як проблему недостатньої, так і надлишкової інформативності простору станів системи. Тут станом є трійка, утворена координатами вузла мономера в ґратці, типом {H, P} та порядковим номером мономера у первинній структурі білка (послідовності амінокислот).…”

“…Важливо зазначити, що у своїй роботі ми не використовували Deep Q-learning підхід, але використали опис простору станів та дій з [9] в Q-learning алгоритмі, показаному на рис. 3.…”