07 - Interaction Flashcards
Wie wird Interaktion definiert?
Definition varies completely depending on the research area In general interaction describes the mutual influence of at least two entities on each other Interaction with an environment occurs if the user input is responded by the system (Sherman and Craig) Immediate causal interconnection between action and reaction
Was ist der Unterschied zwischen abstract und natural interaction?
Abstract interaction No immediate interconnection between users action and scene change visible E.g. gesture recognition using data gloves Natural interaction Direct connection between interaction and scene manipulation visible E.g. picking up a virtual object using a wand
Was ist der Unterschied bei der Eingabe in AR zu der klassischen Computereingabe?
Mouse and keyboards are often not available or desired for the application use case In general 2D input is not ideal for 3D object manipulation (e.g. modification of a 3D object with the help of a mouse) Multi-touch input on tablets or smart phones works better but is still far from ideal Common approach to use speech recognition and gesture recognition with HMDs in few cases additional controllers are used
Was ist marker basierte Interaktion und für was werden Marker dabei verwendet?
Common approach is to use available markers not only for static buttons but also as a pointing device Buttons Occluding existing marker as button (e.g. virtual button in Vuforia) Slider Use of two markers one as reference for the slider Second marker used to slide the slider Distance between the two markers is interpreted as slider value Marker could be used as a state change mechanism Once second marker is brought into proximity the state changes For example as a colour pot or different geometric representations Good idea to visualise the functionality of the marker By writing, of functionality or providing icons
Welche Probleme können mit marker auftreten?
● Using to many markers could cause confusion The action which can be performed is not always obvious to the user
Wie können Markerinputs visualisiert werden?
Menus, arrows, symbols, texts, icons
Wie können Marker gemeinsam mit Gesten verwendet werden?
Shake (sum of travelled distance within a temporal and geometric threshold) Rotation Hiding and showing marker from/to the camera (within temporal thresholds) ● Manipulative and semaphoric gestures Manipulative gestures tightly couple the target of manipulation and the gesture Semaphoric gestures are symbolic and typically represent a stylized dictionary of static or dynamic gestures in a system
Was ist Motion Capturing und wo wurde es ursprünglich verwendet?
● Originates from movie production ● Used for skeletal animation of virtual characters ● Many high-end as well as low-cost motion capture (MoCap) systems exist
Welche Motion Capturing Technologien gibt es?
Marker less (e.g. Kinect, Leap Motion) Simple markers (variety of commercial systems) Body suit (common through advances in VR domain)
Wie funktioniert Hand Tracking?
Use of LEDs, reflectors or colour markers Basic recognition only based on optics (e.g. Leap Motion) Also use of data gloves (again popular through VR)
Wie kann beispielsweise ein virtuelles Objekt mit Hand Traacking ausgewählt werden?
Collision for selection is determined by Euclidian distance between finger position and virtual object
Welche Probleme treten auf wenn man durch Handtracking ein Objekt auswählen möchte?
● If multiple fingertips can be detected grabbing gestures can be used ● Problem is determination of multiple hands, solution to use of a marker on the back of the hand to identify the hand This also provides better performance having the orientation of the hand
Bei welchen AR Technologien wird Gesture Tracking verwendet?
In general good for SAR, HMDs and desktop based solutions Common in current HMD generation HoloLens (abstract, semaphoric gestures) Meta (direct, manipulative gestures) Additional devices for gesture tracking Leap Motion (can also be placed on an HMD)
Welche Probleme können beim Gesture Tracking auftreten?
Gesture recognition can often become problematic since no defined starting point is given in 3D space Can lead to fatigue when interaction is performed with a lifted hand (weight of the hand and arm has to be carried
Welche Gesten unterstützt die HoloLens?
● HoloLens gestures Ready gesture - hand out Finger up Air tap - Finger down quickly Tab and hold Bloom ● Cursor changes from dot to ring when gesture is visible ● Alternative is rather good voice recognition of simple commands (American English) ● Selection is gaze based
Was ist Head Tracking und wofür kann es in der AR eingesetzt werden?
Detection of nodding and head shaking While wearing HMDs the head motion is slowed down Resulting disposition of the HMD might pose an issue Knowledge about head position and orientation could be used to move objects into the FOV (if they are not world referenced) Could be used for labelling and annotations With HMDs and Window-into-the-world metaphor the position is required
Was ist Body Tracking und wofür wird es in der AR eingesetzt?
Could be used for recognising bowing down or sitting resulting in contextual interaction Interactive maps when standing Office material when sitting Ideally implemented with non worn or attached tracking e.g. Kinect
Wofür wird Gaze based Interaction verwendet?
● Rather common with current mobile VR and AR HMDs ● Use of Eye tracking Often used in user studies, duration of gaze, number of gazes Could be used for warnings Could be used for object selection ● If eye tracking is not available head transformation is used for approximation of the gaze vector
Was ist der Unterschied zwischen eye und head tracking?
With known head transformation and eye tracking the gaze direction could be calculated ● If eye tracking is not available head transformation is used for approximation of the gaze vector
Was sind Vorteile bei Speech based Interaction?
Good because hand-free
Was sind Nachteile bei Speech based Interaction?
● Drawbacks If too much visual load, complex speech recognition should be avoided Formulating complex sentences distracts the user from detailed scene observation
Welche Arten von Speech based Interaction gibt es?
Commandos, numerical input, free recognition
Welche Arten gibt es ein speech based Interaction System zu implementieren?
Commands and numerical input can have predefined vocabulary Interpreting free recognition is complex often performed inside cloud environments
Welche Interaktionsarten gibt es?
Direkte Interaktion und Interaktion auf Distanz
Manipulierungsmethoden
→ Direct User Control: Gesten, die die echte Welt nachahmen
→ Physical User Control: Devices, die der User physisch angreifen kann
→ Virtual Control: Devices, die User virtuell angreifen können
3D Manipulationen
Selektion
Translation
Rotation
Von welchen Variablen hängt die Selektion ab?
Distanz zu Objekt
Objektgröße
Rotation
…
Wie klassifiziert Bowman Interaktion?
3 Haupttasks (Selektion, Manipulation, Release) , die in Subtasks unterteilt werden
Manipulation braucht immer vorherige Selektion
Welche Interaktionstechnologien gibt es?
Raycasting
Balloon Selection
Image Plane techniques
Voodoo Dolls
Jogdial and Slider
HoloLens pointing with smartphone
Pick-and-Drop
Rotation
Was ist Raycasting bei der Interaktion?
Eine Selektionstechnik
Es wird ein Strahl nach vorne geschickt
Wenn der Strahl durch ein Objekt durchgeht, kann es ausgewählt werden
F17 Wie funktoniert Balloon Selection?
Man kann damit im 3D Raum Dinge auswählen
F18 Wie funktionieren Image Plane Techniques?
Mit Finger, Händen und Head Tracking werden Dinge ausgewählt
Headcrusher: Ray zwischen Kopf, Daumen und Zeigefinger
Sticky Finger: Ray zwischen Kopf und Finger
Lifting Palm: Handfläche ist unter Objekt
Framing Hands: Mit Daumen und Zeigefingern wird ein Viereck in die Luft gezeichnet und das Objekt eingerahmt
F20 Wie funktionieren Jogdial und Slider?
Das Jogdial oder Slider Objekt taucht und und der User kann es mit seinen Fingern manipulieren
F21 Wie funktioniert Pick and Drop?
Mit einem Stift, der gedrückt und ausgelassen werden kann
Was sind Visual Hints?
Annotationen können in der Umgebung angezeigt werden
Welche Visual Hints Methoden gibt es?
Tangible Bubble
Ghosted Hints
Textual Hints
Diagrammatic Hints
Animated Hints
Hedghehog Labelling
Wie funktioniert eine Tangible Bubble?
Wenn zb 2 Objekte nebeneinander gestellt werden erscheint ein Text
Was sind Ghosted Hints?
Es wird angezeigt, was passieren würde wenn man zb eine Geste macht
Ist sinnvoll, damit der User weiß was passiert
F29 Was ist Hedgehog Labeling?
Labels werden im Raum platziert und an einem Objekt festgemacht
Welche Menüarten gibt es?
Tinmith Hand (Handschuhe, an denen Menü angezeigt wird)
FingARtips
Wrist attached menu
Menü mit Sprachbefehl öffnen
Menüs sind in einem Buch/einem Objekt aus der Realität
TUISTER: Menü ist auf einem Zylinder und man kann durch Drehen durchscrollen
Auf welche Arten können Menüs und Informationen im Allgemeinen im Raum platziert werden?
World referenced (Fixierter Punkt im Raum)
Objekt referenced (An Objekt fixiert)
Head referenced (Am Viewport fixiert)
Body referenced (relativ zum Körper fixiert)
Device referenced (relativ zum Input device fixiert)
