Multimodal feedback in HCI: haptics, non-speech audio, and their applications

Freeman, Euan; Wilson, Graham; Vo, Dong-Bach; Ng, A. W. M; Politis, Ioannis; Brewster, Stephen

doi:10.1145/3015783.3015792

Cited by 41 publications

(22 citation statements)

References 108 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Mental health apps are complex systems with different aspects reviewers may decide paying attention to. We used Multimodality (MM) as the primary lens; MM means the degree to which modalities-like touch for input, or text for output-are used in conjunction to enrich the interactive depth of a digital system [7]. We had two reasons for this decision: the utilisation of MM for youth mental health systems had not been studied yet, and modalities are the defining characteristics of the youth media preferences indicated in Related work.…”

Section: Methodsmentioning

confidence: 99%

An explorative review of youth mental health apps for prevention and promotion

Michel

Slovák

Fitzpatrick

2019

Proceedings of the 13th EAI International Conference on Pervasive Computing Technologies for Healthcare - Demos and Posters

View full text Add to dashboard Cite

Youth mental health interventions are increasingly delivered through technology. One factor which may impact engagement and adherence with these apps is how well they fit with young people using them. Yet, how well these technologies fit with requirements and preferences of young people is largely unexplored. By reviewing examples of mental health promotion apps for young people (n=29) we identified a misalignment between young people's media use and what youth mental health promotion apps provide. This presents a space to improve youth mental health technology.

show abstract

Section: Methodsmentioning

confidence: 99%

An explorative review of youth mental health apps for prevention and promotion

Michel

Slovák

Fitzpatrick

2019

Proceedings of the 13th EAI International Conference on Pervasive Computing Technologies for Healthcare - Demos and Posters

View full text Add to dashboard Cite

show abstract

“…Textural qualities are challenging to render convincingly, since fine-grained features that typically constitute material texture are orders of magnitude smaller than ultrasound focal points (e.g., 40 kHz ultrasound has a wavelength of 8.6 mm, yielding similarly sized focal points). An alternative is to modulate temporal properties of a focal point to recreate the sensation of roughness, similar to methods used to simulate roughness using piezoelectric vibrotactile actuators [70]. For example, amplitude modulation frequency can yield different sensations [71].…”

Section: ) Textured Surfacesmentioning

confidence: 99%

“…Likewise, there are also size, power and cost implications of using larger arrays. Furthermore, ultrasound haptics cannot generate a strong static force or torque (kinesthetic force), so is limited to cutaneous tactile sensations [70]. Dedicated force feedback devices have various force ranges, typically about 3-8 N, e.g., 3D Systems Touch [122], orders of magnitude in excess of the resistive force that can be produced using ultrasound.…”

Section: B Strength and Perceptionmentioning

confidence: 99%

A Survey of Mid-Air Ultrasound Haptics and Its Applications

Rakkolainen

Freeman

Sand

et al. 2021

IEEE Trans. Haptics

Self Cite

120

View full text Add to dashboard Cite

Ultrasound haptics is a contactless haptic technology that enables novel mid-air interactions with rich multisensory feedback. This paper surveys recent advances in ultrasound haptic technology. We discuss the fundamentals of this haptic technology, how a variety of perceptible sensations are rendered, and how it is currently being used to enable novel interaction techniques. We summarize its strengths, weaknesses, and potential applications across various domains. We conclude with our perspective on key directions for this promising haptic technology.

show abstract

“…möglich. Sie sind nützlich, wenn andere Sinneskanäle bereits beansprucht werden oder aufgrund der Umgebungsbedingungen nicht zur Verfügung stehen (Freeman et al 2017;Brewster und Brown 2004), beispielsweise aufgrund von Blickabwendung oder lauten Umgebungsgeräuschen. Tactons können dabei verschiedene abstrakte Bedeutungen wie Befehle, Zustände oder Warnungen darstellen, sofern die Benutzer geschult sind, sie zu erkennen und korrekt zu interpretieren (Luzhnica und Veas 2019).…”

Section: Hintergrund Und Zielunclassified

Vibrotaktile Codierung von Standardfunktionen einer Menüführung

Stein

Schmidt

2020

Z. Arb. Wiss.

View full text Add to dashboard Cite

Zusammenfassung Tactons sind taktile Nachrichten, die dem Nutzer Informationen über den haptischen Sinneskanal übermitteln, und können beispielsweise bei der Interaktion mit Touchscreens von Nutzen sein. In dieser Studie wird die systematische Erarbeitung eines Tacton-Sets für Standardfunktionen einer Menüführung (im Einzelnen die Funktionen Beenden, Bestätigen, Hauptmenü, Hilfe, Korrektur, Lauter, Leiser sowie Zurück) vorgestellt. Neben existierenden Erkenntnissen aus der Literatur wurden bei der Gestaltung des Tacton-Sets ebenfalls die Ergebnisse einer Gruppenbefragung berücksichtigt, in der die Teilnehmer Ideen zur konkreten Ausgestaltung der Tactons äußern konnten. Das zunächst entstandene Tacton-Set wurde unter drei standardisierten Versuchsbedingungen von 54 Probanden evaluiert und lieferte eine Gesamterkennungsrate von 0,70 ± 0,19. Die Ergebnisse der einzelnen Tactons wurden analysiert und Verbesserungen hinsichtlich deren Gestaltung umgesetzt. Anschließend wurde das weiterentwickelte Tacton-Set unter den gleichen Versuchsbedingungen wie zuvor erneut von 39 Probanden evaluiert. Die resultierende Gesamterkennungsrate verbesserte sich signifikant auf 0,79 ± 0,18. Praktische Relevanz In alltäglichen Umgebungen mit zunehmender Informationsdichte wird die Übermittlung von Informationen über den haptischen Sinneskanal immer wichtiger. Diese Studie beinhaltet wichtige Erkenntnisse für die Gestaltung und schrittweise Verbesserung von Tactons im Allgemeinen und liefert einen Vorschlag für die konkrete Umsetzung eines Tacton-Sets für genannte Standardfunktionen. Es wird zudem deutlich, dass weitere Forschung nötig ist, um den Einsatz von Tactons zu etablieren.

show abstract

Multimodal feedback in HCI: haptics, non-speech audio, and their applications

Cited by 41 publications

References 108 publications

An explorative review of youth mental health apps for prevention and promotion

An explorative review of youth mental health apps for prevention and promotion

A Survey of Mid-Air Ultrasound Haptics and Its Applications

Vibrotaktile Codierung von Standardfunktionen einer Menüführung

Contact Info

Product

Resources

About