Our goal is to accurately and efficiently learn reward functions for autonomous robots. Current approaches to this problem include inverse reinforcement learning (IRL), which uses expert demonstrations, and preference-based learning, which iteratively queries the user for her preferences between trajectories. In robotics however, IRL often struggles because it is difficult to get high-quality demonstrations; conversely, preference-based learning is very inefficient since it attempts to learn a continuous, high-dimensional function from binary feedback. We propose a new framework for reward learning, DemPref, that uses both demonstrations and preference queries to learn a reward function. Specifically, we (1) use the demonstrations to learn a coarse prior over the space of reward functions, to reduce the effective size of the space from which queries are generated; and (2) use the demonstrations to ground the (active) query generation process, to improve the quality of the generated queries. Our method alleviates the efficiency issues faced by standard preference-based learning methods and does not exclusively depend on (possibly low-quality) demonstrations. In numerical experiments, we find that DemPref is significantly more efficient than a standard active preference-based learning method. In a user study, we compare our method to a standard IRL method; we find that users rated the robot trained with DemPref as being more successful at learning their desired behavior, and preferred to use the DemPref system (over IRL) to train the robot.

Reward functions are a common way to specify the objective of a robot. As designing reward functions can be extremely challenging, a more promising approach is to directly learn reward functions from human teachers. Importantly, data from human teachers can be collected either passively or actively in a variety of forms: passive data sources include demonstrations (e.g., kinesthetic guidance), whereas preferences (e.g., comparative rankings) are actively elicited. Prior research has independently applied reward learning to these different data sources. However, there exist many domains where multiple sources are complementary and expressive. Motivated by this general problem, we present a framework to integrate multiple sources of information, which are either passively or actively collected from human users. In particular, we present an algorithm that first utilizes user demonstrations to initialize a belief about the reward function, and then actively probes the user with preference queries to zero-in on their true reward. This algorithm not only enables us combine multiple data sources, but it also informs the robot when it should leverage each type of information. Further, our approach accounts for the human’s ability to provide data: yielding user-friendly preference queries which are also theoretically optimal. Our extensive simulated experiments and user studies on a Fetch mobile manipulator demonstrate the superiority and the usability of our integrated framework.

Reward functions are a common way to specify the objective of a robot. As designing reward functions can be extremely challenging, a more promising approach is to directly learn reward functions from human teachers. Importantly, humans provide data in a variety of forms: these include instructions (e.g., natural language), demonstrations, (e.g., kinesthetic guidance), and preferences (e.g., comparative rankings). Prior research has independently applied reward learning to each of these different data sources. However, there exist many domains where some of these information sources are not applicable or inefficient -while multiple sources are complementary and expressive. Motivated by this general problem, we present a framework to integrate multiple sources of information, which are either passively or actively collected from human users. In particular, we present an algorithm that first utilizes user demonstrations to initialize a belief about the reward function, and then proactively probes the user with preference queries to zero-in on their true reward. This algorithm not only enables us combine multiple data sources, but it also informs the robot when it should leverage each type of information. Further, our approach accounts for the human's ability to provide data: yielding userfriendly preference queries which are also theoretically optimal. Our extensive simulated experiments and user studies on a Fetch mobile manipulator demonstrate the superiority and the usability of our integrated framework.

No abstract

While reinforcement learning (RL) has the potential to enable robots to autonomously acquire a wide range of skills, in practice, RL usually requires manual, per-task engineering of reward functions, especially in real world settings where aspects of the environment needed to compute progress are not directly accessible. To enable robots to autonomously learn skills, we instead consider the problem of reinforcement learning without access to rewards. We aim to learn an unsupervised embedding space under which the robot can measure progress towards a goal for itself. Our approach explicitly optimizes for a metric space under which action sequences that reach a particular state are optimal when the goal is the final state reached. This enables learning effective and control-centric representations that lead to more autonomous reinforcement learning algorithms. Our experiments on three simulated environments and two real-world manipulation problems show that our method can learn effective goal metrics from unlabeled interaction, and use the learned goal metrics for autonomous reinforcement learning.

No abstract

Український науково-практичний центр екстреної медичної допомоги та медицини катастроф міністерства охорони здоров'я України», м. Київ Мета дослідження: проаналізувати існуючі методи щодо забезпечення безпеки лікарень за умов природних та техногенних катастроф, а також діючу нормативно-правову базу щодо безпеки та функціонування закладів охорони здоров'я (ЗОЗ) під час надзвичайних ситуацій в Україні. Матеріали та методи. дослідження ґрунтується на аналізі даних наукових та спеціальних джерел інформації щодо стану безпеки лікарень, у тому числі Центру досліджень з епідеміолоґії стихійних лих Католицького Університету Левена (Бельгія), міжнародної бази даних катастроф (International Disaster Database, EM-DAT), офіційних звітах експертів ВООЗ. методами дослідження були: бібліографічний, синтетичний, формальної логіки. Було проведено логічний аналіз даних, узагальнення результатів, визначення основних причинних факторів недоліків та ризикутворювальних факторів із застосуванням комплексного аналізу даних та комп'ютерних технологій. Результати. Рекомендована ВООЗ до застосування в усіх країнах світу методологія «Індекс безпеки лікарень», що створена для реалізації нового підходу до запобігання негативним наслідкам стихійних лих у секторі охорони здоров'я і зниження їхніх масштабів, допомагає місцевій владі визначити, які установи насамперед потребують проведення відповідних заходів для зменшення уразливості. Пріоритет повинен бути відданий тій установі, де безпека пацієнтів і персоналу схильна до найбільш високого ризику під час лиха, або установі, де є ризик пошкодження обладнання, або потрібні заходи для підтримки працездатності. Встановлено, що діяльність будь-якого ЗОЗ України оцінюють за трьома стандартами: управлінням установою (включно зі службами і кадрами), фінансами та матеріальними ресурсами, а також безпосередньо за медичною діяльністю. За чинним законодавством України нормативні акти, що регламентують діяльність ЗОЗ, не передбачають оцінювання безпеки проведення лікувально-діагностичного процесу в цих закладах при наданні медичної допомоги хворим та постраждалим за умов надзвичайних ситуацій. Виявлено, що в нашій державі повністю відсутні адаптовані до реально діючої системи охорони здоров'я критерії та методи оцінювання безпеки лікарень. Водночас відсутній опис та характеристика ризиків і факторів, що негативно впливають на стан організації лікувально-діагностичного процесу під час надання медичної допомоги постраждалим у надзвичайних ситуаціях, що суттєво знижує можливості ЗОЗ щодо повноцінного функціонування. Заключення. Забезпечення роботи лікарняних закладів за умов надзвичайних ситуацій потребує розробки та впровадження адекватних заходів відповіді з урахуванням наявних ризикутворювальних факторів технічного та функціонального характеру. методологія визначення «Індексу безпеки лікарень», що використовується в усьому світі, є дієвим інструментом для оцінювання безпеки і уразливості лікарень, прийняття недорогих, високоефективних заходів підвищення безпеки та зміцнення готовності до надзвичайних ситуац...