Feature selection and feature learning for high-dimensional batch reinforcement learning: A survey

Liu, Derong; Li, Hongliang; Wang, Ding

doi:10.1007/s11633-015-0893-y

Cited by 40 publications

(22 citation statements)

References 64 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Regarding the embedded methods, the most prominent instance is the regularized least-squares policy [45,46,47]. This and similar methods are tied to a specific learning algorithm and, therefore, breach the restriction of an applicability independent from the control algorithm.…”

Section: Related Workmentioning

confidence: 99%

Mutual Influence-aware Runtime Learning of Self-adaptation Behavior

Rudolph

Tomforde

Hähner

2019

ACM Trans. Auton. Adapt. Syst.

View full text Add to dashboard Cite

Self-adaptation has been proposed as a mechanism to counter complexity in control problems of technical systems. A major driver behind self-adaptation is the idea to transfer traditional design-time decisions to runtime and into the responsibility of systems themselves. To deal with unforeseen events and conditions, systems need creativity-typically realized by means of machine learning capabilities. Such learning mechanisms are based on different sources of knowledge. Feedback from the environment used for reinforcement purposes is probably the most prominent one within the self-adapting and self-organizing (SASO) systems community. However, the impact of other (sub-)systems on the success of the individual system's learning performance has mostly been neglected in this context. In this article, we propose a novel methodology to identify effects of actions performed by other systems in a shared environment on the utility achievement of an autonomous system. Consider smart cameras (SC) as illustrating example: For goals such as 3D reconstruction of objects, the most promising configuration of one SC in terms of pan/tilt/zoom parameters depends largely on the configuration of other SCs in the vicinity. Since such mutual influences cannot be pre-defined for dynamic systems, they have to be learned at runtime. Furthermore, they have to be taken into consideration when self-improving their own configuration decisions based on a feedback loop concept, e.g., known from the SASO domain or the Autonomic and Organic Computing initiatives. We define a methodology to detect such influences at runtime, present an approach to consider this information in a reinforcement learning technique, and analyze the behavior in artificial as well as real-world SASO system settings. CCS Concepts: • Computer systems organization → Self-organizing autonomic computing; • Theory of computation → Multi-agent learning;

show abstract

Section: Related Workmentioning

confidence: 99%

Mutual Influence-aware Runtime Learning of Self-adaptation Behavior

Rudolph

Tomforde

Hähner

2019

ACM Trans. Auton. Adapt. Syst.

View full text Add to dashboard Cite

show abstract

“…In [22,23] feature selection is used to obtain lowerdimensional BS representation. However, most of the algorithms are tied to specific Reinforcement Learning algorithms such as LSPI, and cannot be generalized to other policy models.…”

Section: Related Workmentioning

confidence: 99%

Robust Belief State Space Representation for Statistical Dialogue Managers Using Deep Autoencoders

Lygerakis

Diakoloulas

Lagoudakis

et al. 2019

2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)

View full text Add to dashboard Cite

Statistical Dialogue Systems (SDS) have proved their humongous potential over the past few years. However, the lack of efficient and robust representations of the belief state (BS) space refrains them from revealing their full potential. There is a great need for automatic BS representations, which will replace the old hand-crafted, variable-length ones. To tackle those problems, we introduce a novel use of Autoencoders (AEs). Our goal is to obtain a low-dimensional, fixed-length, and compact, yet robust representation of the BS space. We investigate the use of dense AE, Denoising AE (DAE) and Variational Denoising AE (VDAE), which we combine with GP-SARSA to learn dialogue policies in the PyDial toolkit. In this framework, the BS is normally represented in a relatively compact, but still redundant summary space which is obtained through a heuristic mapping of the original master space. We show that all the proposed AE-based representations consistently outperform the summary BS representation. Especially, as the Semantic Error Rate (SER) increases, the DAE/VDAE-based representations obtain state-of-the-art and sample efficient performance.

show abstract

“…Увеличить скорость и качество обучения может формирование информативных признаков [11]. Ис-пользование вектора признаков вместо набора пик-селей позволит интеллектуальному агенту ориен-тироваться лишь на значимые характеристики входных данных и, следовательно, быстрее обу-чаться.…”

Section: редукция задачи посредством распознавания образовunclassified

Современные подходы к обучению интеллектуальных агентов в среде Atari

Коробов¹,

Beliaev²,

Belyaev³

2018

ППС

View full text Add to dashboard Cite

1 Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина), ул. Профессора Попова, 5, г. Санкт-Петербург, 197376, Россия Статья посвящена разработке и исследованию алгоритмов машинного обучения в задаче обучения интеллектуаль-ных агентов в среде Atari, представляющей эмуляцию игровой консоли Atari2600 при помощи платформы OpenAI Gym. Основные цели исследования -описание и сравнение современных алгоритмов обучения с подкреплением в различных ситуациях, выявление их достоинств и недостатков, а также формирование предложений по повышению эффективности этих алгоритмов.Авторы описывают математическую модель задачи обучения с подкреплением в виде марковского процесса при-нятия решений и формируют критерий оптимальности системы. Отдельно отмечены особенности, характерные для среды Atari.Описаны принцип работы существующих решений, а также использующиеся в них инструменты. Рассмотрены базовый подход Q-обучения и его известная модификация с использованием нейронной сети. Представлена идея ал-горитма на основе градиента по стратегиям. Дано описание подхода алгоритмов типа «актор-критик», а также рас-смотрена его асинхронная многопоточная версия. Все рассмотренные алгоритмы описаны в виде псевдокода.Предложен способ повышения эффективности обучения с помощью выделения признаков. Разработан алгоритм генерации вектора признаков на основе распознавания образов. Описаны этапы формирования вектора признаков и его использования в процессе обучения.Алгоритмы реализованы, проведен эксперимент с их использованием. Выполнен сравнительный анализ результа-тов и получены выводы об эффективности алгоритмов. Предложены идеи по дальнейшему увеличению скорости и качества обучения интеллектуальных агентов. Ключевые слова: Atari, интеллектуальные агенты, обучение с подкреплением, Q-обучение, градиент по страте-гиям, асинхронный актор-критик, распознавание образов, выделение признаков.Интеллектуальными агентами принято назы-вать самообучающиеся программы, способные иг-рать в классические и видеоигры. Согласно [1], «агентом является все, что может рассматриваться как воспринимающее свою среду с помощью дат-чиков и воздействующее на эту среду с помощью исполнительных механизмов». Интеллектуальные агенты способны моделировать поведение чело-века в задачах сбора и обработки информации, при этом они могут активно перемещаться внутри ин-формационного пространства в направлении цели.Одной из платформ, позволяющих проводить разработку и исследование алгоритмов машинного обучения, является OpenAI Gym, включающая в себя возможность эмуляции игровой консоли Atari2600. В качестве входных данных среда Atari предоставляет последовательность изображений экрана размера 210×160 пикселей, а также общий игровой счет и индикатор победы или поражения. На основе описанных входных данных агент дол-жен выбрать одно из возможных действий с помо-щью обучения с подкреплением -машинное обу-чение, направленное на решение задачи принятия решения о выборе действия в заданной ситуации таким образом, чтобы максимизировать выгоду...

show abstract

Feature selection and feature learning for high-dimensional batch reinforcement learning: A survey

Cited by 40 publications

References 64 publications

Mutual Influence-aware Runtime Learning of Self-adaptation Behavior

Mutual Influence-aware Runtime Learning of Self-adaptation Behavior

Robust Belief State Space Representation for Statistical Dialogue Managers Using Deep Autoencoders

Современные подходы к обучению интеллектуальных агентов в среде Atari

Contact Info

Product

Resources

About