Perceptual Visual Interactive Learning

Abstract

Supervised learning methods are widely used in machine learning. However, the lack of labels in existing data limits the application of these technologies. Visual interactive learning (VIL) compared with computers can avoid semantic gap, and solve the labeling problem of small label quantity (SLQ) samples in a groundbreaking way. In order to fully understand the importance of VIL to the interaction process, we re-summarize the interactive learning related algorithms (e.g. clustering, classification, retrieval etc.) from the perspective of VIL. Note that, perception and cognition are two main visual processes of VIL. On this basis, we propose a perceptual visual interactive learning (PVIL) framework, which adopts gestalt principle to design interaction strategy and multi-dimensionality reduction (MDR) to optimize the process of visualization. The advantage of PVIL framework is that it combines computer's sensitivity of detailed features and human's overall understanding of global tasks. Experimental results validate that the framework is superior to traditional computer labeling methods (such as label propagation) in both accuracy and efficiency, which achieves significant classification results on dense distribution and sparse classes dataset.

Color Recognition for Rubik's Cube Robot

“…To evaluate performance of the color classification algorithm, we have collected a set of Rubik's cube images under different environmental circumstances. In this section, we first introduce the collection process of the Rubiks cube dataset, then explain how to label the images with perceptual visual interactive learning (PVIL) method [10].…”

“…To get labels of the Rubiks cube dataset, we adopt a visual labeling method called PVIL labeling [10]. Compared with original handcraft labeling method, the PVIL method is stable in accuracy and efficient in time cost.…”

“…In this paper, we collect different illumination and material images and label the images using perceptual visual interactive learning (PVIL) method [10] of Rubiks cubes as a dataset (RC dataset) which contains 348 images and offers two HSVs features. To solve CRRC problem, we introduced one model and proposed two models for CRRC problem including offline and online approaches.…”

ผลของการจัดสภาพแวดล้อมการเรียนรู้ภาษาไทยออนไลน์โดยใช้ภาระงานเป็นฐานเพื่อพัฒนาทักษะการสื่อสารด้วยวาจาสำหรับผู้เรียนที่ใช้ภาษาไทยเป็นภาษาที่สอง

“…จากข้ อมู ลเกี ่ ยวกั บปั ญหาที ่ เกิ ดขึ ้ นในการเรี ยนภาษาไทยของผู ้ เรี ยนที ่ ใช้ ภาษาไทยเป็ นภาษาที ่ สองที ่ ไม่ สอดคล้ องกั บลั กษณะผู ้ เรี ยน เนื ่ องจากในสถานศึ กษาที ่ ผู ้ เรี ยนเหล่ านี ้ เข้ ารั บการศึ กษานั ้ นใช้ หลั กสู ตรการศึ กษาขั ้ นพื ้ นฐานที ่ ใช้ กั บผู ้ เรี ยนที ่ ใช้ ภาษาไทยเป็ นภาษาแม่ ทำให้ เกิ ดความไม่ เหมาะสม ทางด้ านเนื ้ อหาที ่ อาจจะยากเกิ นไปสำหรั บผู ้ ที ่ เริ ่ มเรี ยนภาษาไทยเป็ นภาษาที ่ สองอย่ างผู ้ เรี ยนชาติ พั นธุ ์ อื ่ น ๆ เพื ่ อให้ ผู ้ เรี ยนเหล่ านี ้ มี พื ้ นฐานทางภาษาที ่ ดี ขึ ้ น จึ งจำเป็ นจะต้ องพั ฒนาทั กษะการสื ่ อสารด้ วย วาจาอั นประกอบไปด้ วยทั กษะการฟั ง และทั กษะการพู ดระดั บพื ้ นฐานให้ เพี ยงพอ ซึ ่ งจากการจั ดการ เรี ยนการสอนภาษาของนั กการศึ กษาและนั กวิ จั ยส่ วนใหญ่ จะเลื อกใช้ การจั ดการเรี ยนรู ้ ภาษาโดยใช้ ภาระงานเป็ นฐาน (Task-based Language Learning) ในการจั ดการเรี ยนรู ้ เพื ่ อให้ ผู ้ เรี ยนใช้ กระบวนการทางภาษาผ่ านการใช้ ที ่ เน้ นความหมาย (Meaning-focused language use) ในทาง ปฏิ บั ติ เพื ่ อให้ บรรลุ เป้ าหมายตามที ่ กำหนดไว้ ทั ้ งเป็ นการเพิ ่ มประสิ ทธิ ภาพในกระบวนการสร้ างภาษา และทำให้ ผู ้ เรี ยนเกิ ดความเข้ าใจมากขึ ้ น และการจั ดการเรี ยนรู ้ ลั กษณะนี ้ มี ความยื ดหยุ ่ น สามารถปรั บ ให้ เข้ ากั บบริ บทต่ าง ๆ ให้ เหมาะสมกั บผู ้ เรี ยน ผลงานวิ จั ยที ่ ใช้ การเรี ยนรู ้ ภาษาโดยใช้ ภาระงานพบว่ า ภาระงานที ่ เหมาะสมต่ อบริ บทการเรี ยนรู ้ ของผู ้ เรี ยนและสามารถส่ งเสริ มให้ ผู ้ เรี ยนสร้ างภาษาได้ มาก จะส่ งผลให้ ผู ้ เรี ยนใช้ ภาษาได้ ถู กต้ อง (Accuracy) ใช้ ภาษาได้ ซั บซ้ อนมากขึ ้ น (Complexity) และใช้ ภาษาคล่ องแคล่ วมากขึ ้ น (Fluency) เนื ่ องจากภาระงานทางภาษาจะนำมาจากบริ บทที ่ เกิ ดขึ ้ นใน ชี วิ ตประจำวั นที ่ แท้ จริ ง ทำให้ ผู ้ เรี ยนสามารถเชื ่ อมโยงเข้ ากั บการดำเนิ นชี วิ ตของผู ้ เรี ยนได้ (Ellis, 2003;Ahmadian, 2012;Robinson, 2015;Skehan, 2015;Tavakoli, 2017) อี กหนึ ่ งการจั ดการ เรี ยนรู ้ ที ่ สามารถสนั บสนุ นให้ การเรี ยนรู ้ ภาษาโดยใช้ ภาระงานเป็ นฐานเป็ นประโยชน์ ต่ อผู ้ เรี ยนมากขึ ้ น คื อ การเรี ยนรู ้ แบบโต้ ตอบ (Interactive Learning) เป็ นกระบวนการเรี ยนรู ้ ที ่ ผู ้ เรี ยนต้ องโต้ ตอบทั ้ ง ทางวาจาหรื อแสดงท่ าทางในกิ จกรรมที ่ ใช้ เทคโนโลยี เพื ่ อตอบสนอง ทั ้ งระหว่ างผู ้ เรี ยนกั บผู ้ เรี ยน ผู ้ เรี ยนกั บผู ้ สอน และผู ้ เรี ยนกั บเทคโนโลยี ที ่ มี ระบบการโต้ ตอบกลั บ เพื ่ อสะท้ อนผลป้ อนกลั บให้ ผู ้ เรี ยน ได้ พั ฒนาความรู ้ (พี รพั ฒน์ ตรั งรั ฐพิ ทย์ , 2557; Sessoms, 2008;Reeves, 2012;Ishizue Sakamoto & Fukazawa, 2017;Liu et al, 2018) การเรี ยน (Ginther, 2002;Grgurovic & Hegelheimer, 2007;Abidin et al, 2011;Sejdiu, 2017) Willis, 1996;Eillis, 2003;Willis & Willis, 2007;Psotka, 2012;Valeev, Latypova, & Latypov, 2016;Ishizue, Sakamoto,& Fukazawa, 2017;…”