Immersive Medien Flashcards

1
Q

Welche drei Anforderungen muss eine virtuelle Realität erfüllen?

A
  • Echtzeit-Rendering
  • Räumlichkeit (3D)
  • Interaktivität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Durch welche Kombination wird Mixed Reality möglich?

A
  • Augmentisierung (virtuelle Informationen zu realen hinzufügen)
  • Diminishment (löschen realer oder virtueller Objekte aus der Umgebung)
  • Modulation (Veränderung der Eigenschaften von Objekten)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Nenne die Ansätze, um Mixed Reality umzusetzen

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was sind Vorteile von Optical See Through?

A
  • keine Latenz und kein Qualitätsverlust für reale Umgebung
  • periphere Sicht für reale Umgebung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Was sind Vorteile von Video See Through?

A
  • Abdunklung realer Objekte möglich
  • keine Latenz zwischen realen und virtuellen Inhalten
  • günstiger herzustellen als OST
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Nenne Vorteile der Projektionsbasierten Displays

A
  • potentiell unbegrenzter Sichtbereich
  • keine bzw. nur leichtgewichtige Brillen notwendig
  • reduzierte Konflikte bzgl. Tiefenhinweise
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Im Bezug auf Tracking, was meint “Freiheitsgrade”?

A

definieren Menge bereitgestellter orthogonaler Informationen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Nenne die zwei klassischen Trackingverfahren

A
  • inside-out: an HMD befestigte Kamera(s) tracken Referenzpunkte in Umgebung
  • outside-in: statische Kamera(s) in Umgebung tracken HMD
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Nenne Vor- und Nachteile von Standalone Displays

A
  • Mobiler Einsatz +
  • Bewegungsfreiheit durch fehlende Kabel +
  • schlechtere Renderleistung
  • ungenaues Positionstracking
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was bedeutet Omnidirektional?

A

Betrachtung räumlicher Szenen durch Berücksichtigung der Kopfbewegungen der Nutzer:innen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Nenne Limitationen von 360 Grad Aufnahmen

A

vermitteln realistischen visuellen Eindruck der Umgebung von konkreter Betrachterposition aus, sind jedoch limitiert bzgl.
- Positionsveränderungen des Nutzers
- Interaktionen des Nutzers mit der Umgebung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Was ist die Photogrammetrie?

A
  • Bei Photogrammetrie wird tatsächliche Form realer dreidimensionaler Objekte auf Basis von 2D-Bildern rekonstruiert
  • gute Ergebnisse können bereits mit üblichen Smartphone-Kameras erzielt werden
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Beschreibe den Ablauf der Photogrammetrie

A

1) Aufnahme überlappender Fotos des realen Objekts aus verschiedenen Richtungen
2) Photogrammetrische Triangulation
3) Generierung einer Punktwolke
4) Generierung eines (texturierten) 3D-Modells

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Realismus?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der manuelle Aufwand?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Speicherbedarf?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Rechenaufwand?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung stereoskopischer Darstellungen?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung freier Nutzerbewegungen?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung direkter Nutzerinteraktion?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Wie lassen sich Vorteile verschiedener Verfahren nutzen bei der Entwicklung von 3D Welten?

A

es können mehrere Formen der Szenenbeschreibung miteinander kombiniert werden (z.B. 360-Grad-Video für recheneffizienten Hintergrund + 3D- Modelle für interaktive Vordergrundobjekte)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Nenne Herausforderungen der Szenenkomposition aus 360-Grad und 3D-Modell

A
  • korrekte Verdeckungen
  • konsistente Tiefenwahrnehmung
  • konsistente Beleuchtung
  • Schattenwurf
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Durch welche Differenzen ist Geräuschlokalisierung möglich?

A
  • interaurale Zeitunterschiede
  • interaurale Pegelunterschiede
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Wie lassen sich die Differenzen zu Geräuschlokalisierung darstellen?

A

durch Head-related Transfer Functions

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Wie kann man den Sound für virtuelle Szenen simulieren?
- durch Messungen in realen Umgebungen - Abschwächung der Lautstärke mit steigender Distanz
26
Worüber ist die Abschwächungskurve definiert?
über Rolloff (linear / log)
27
Wie könnte man die Sound-Simulation bei virtuellen Umgenbungen weiter optimieren?
- Persönliche HRTF-Funktionen abhängig von eigener Kopf-/Ohrmuschel-Form - Simulierte Reflektionen von Audiowellen an der virtuellen Umgebung - Realistische Sound-Effekte bei relativen Bewegungen zwischen Nutzer und Soundquelle (z.B. Doppler-Effekt)
28
Wie bindet man das A-Frame Framework ein?
Im head: < script src="https://aframe.io/releases/1.2.0/aframe.min.js">< /script >
29
Was muss man einbinden, um ein Objekt per a-frame einzubinden?
Eine Szene
30
Was bezeichnet mit Immersion "Präsenz"?
Bewusstseinszustand, der Illusion darstellt, das Gefühl zu haben in virtueller Umgebung zu sein
31
Nenne Vorteile hoher Präsenz von immersiven Medien
- Besseres Nutzererlebnis (engl. User Experience); bzgl. Spannung, Vergnügen, Motivation etc. - Verhalten von Nutzer:innen näher an Realität (essenziell z.B. für Studien, Therapie von Phobien etc.) - natürlichere Kommunikation (durch soziale Präsenz)
32
Nenne Möglichkeiten zur Maximierung von Präsenz
- Visueller Realismus - Räumlicher Sound - Propriozeptische Übereinstimmung - Minimierung der Wahrnehmung des Displays selbst - Narrativ
33
Was bezeichnet den Präsenzbruch?
tritt auf, wenn Nutzer:in auf Sinneseindrücke realer Welt reagieren (statt auf virtuelle Stimuli)
34
Welche Maße gibt es zur Messung von Präsenz?
1. Subjektive Maße 2. Verhaltensmaße 3. Physiologische Maße
35
Beschreibe Witmer & Singers: Presence Questionnaire (PQ), 1994
Fragebogen zu - Kontroll-Faktoren - Sensorische Faktoren - Ablenkungsfaktoren - Realismus-Faktoren
36
Beschreibe den Slater-Usoh-Steed Presence Questionnaire
misst Eindruck in virtueller Umgebung zu sein, wie sehr sie zur dominanten Realität wird und wie sehr sie als „Ort“ erinnert wird
37
Beschreibe den Igroup Presence Questionnaire (IPQ)
misst räumliche Präsenz, Einbindung der Nutzer:innen und erlebten Realismus
38
Wie lassen sich Verhaltensmaße messen?
- Reflexartige motorische Bewegungen - Greifen nach virtuellen Objekten - Soziale Reaktionen auf Avatare - Agenten Schreckreaktionen
39
Beschreibe Bewegungskrankheit
Unerwünsch-te Symptome, die reale (physische oder visuelle) und/oder vorgetäuschte Bewegung begleiten
40
Beschreibe Cyberkrankheit
Visuell induzierte Bewegungskrankheit, die aus Immersion in einer computergenerierten virtuellen Welt resultiert
41
Beschreibe Simulatorkrankheit
Symptome, die wegen Limitation von Simulationen auftreten
42
Nenne häufigsten Symptome von der VR-Krankheit
- Okulomotorisch: Augenüberanstrengung, Schwierigkeiten beim Fokussieren, unscharfes Sehen und Kopfschmerzen - Übelkeit: Magenschmerzen, erhöhte Speichelbildung und Aufstoßen - Desorientiertheit: Schwindel und Gleichgewichtsstörungen
43
Beschreibe die Vergiftungstheorie
- Im Konflikt stehende sensorische Inputs in Kombination mit Schwindel sind Symptome, die mit einer Vergiftung assoziiert werden - Menschliche Körper haben Schutzmechanismus entwickelt, um physiologische Schäden bei Einnahme von Giften zu minimieren ➡ Reaktionen wie Erbrechen evolutionär sinnvoll
44
Beschreibe die Theorie der Augenbewegung
Motion Sickness könnte aus unnatürlichen Augenbewegungen resultieren, die notwendig sind, um durchgängig stabiles, scharfes Bild der virtuellen Szene auf Retina zu erzeugen
45
Beschreibe die Therie der sensorischen Konflikte
VR-Krankheit könnte hervorgerufen werden, wenn virtuelle Umgebung derart gestaltet ist, dass über unterschiedliche sensorische Rezeptoren empfangenen Informationen (insbesondere visuell und vestibulär) inkompatibel sind oder nicht mentalem Modell entsprechen [Reason & Brand, 1975]
46
Wie wird in VR Hinweise über Eigenbewegung gegeben?
- VR-Systemen beschränken üblicherweise Stimulationn auf externe Bewegungshinweise wie visuelle und auditive Stimuli - “Interne” Hinweise, die sensorischen Rezeptoren im Körper entstammen, sind in VR- Systemen schwerer zu simulieren ➡ Diskrepanzen zwischen simulierten und internen Hinweisen
47
Nenne mögliche Maßnahmen, die die VR-Krankheit reduzieren
- Head-Tracking - Simulation von Schrittbewegungen - kleines Sichtfeld während Bewegungen - statische virtuelle Referenzpunkte (z.B. Nase) - elektrische Reizung des Vestibulärsystems
48
Wie kann VR-Krankheit gemessen werden?
- Subjektive Maße - Physiologische Maße - Verhaltensmaße
49
In welchen Punkten unterscheiden sich Immersive Medien zu unidirektionalen Medien in der Komprimierung?
- Große Datenmengen - Hoher Grad an Interaktivität - Begrenzte Rechenpower
50
Was ist die Binokulare Disparität?
die Positions-Differenz eines Objekts in den retinalen Bildern des linken und rechten Auges
51
Was ist AI Upscaling?
- Statt Aufnahmen in hoher nativer Auflösung (z.B. 4K) abzuspeichern und zu verarbeiten, wird niedrigere Au$ösung (z.B. 1080p) gewählt - AI Upscaling bezeichnet Prozess, um aus gering aufgelösten Frame wieder hoch aufgelöstes Frame zu berechnen (durch Machine Learning Modelle)
52
Was beschreibt die Rendering-Pipeline?
Beschreibung einer Abfolge von Schritten, die Grafiksystem zum Rendern durchführen muss
53
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik der Texturen
- Durch Zuweisung (engl. Mapping) von 2D- Bildern (Texturen) auf 3D-Modell kann komplexere Geometrie mit größeren Anzahl an Eckpunkten simuliert werden - Mit Diffusen Maps kann Detailreichtum bzgl. Farben erzielt werden, während Normal Maps korrekte Beleuchtung / Schattierung von Unebenheiten simulieren
54
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik der Sichtbarkeit
- Sichtbarkeitsermittlung (Culling) erlaubt solche Polygone und deren Eckpunkte zu verwerfen, die nicht im Sichtfeld liegen - Abhängig von Strategie wird zwischen Frustum, Back Face und Occlusion Culling unterschieden
55
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik des Frustum Culling
- Beim Culling gegen Sichtvolumen (engl. Frustum Culling) können Polygone ausgeschlossen werden, die später nicht im Bild zu sehen sein werden - Sichtvolumen ist definiert durch Pyramidenstumpf, d.h. auch Polygone vor der vorderen oder hinter der hinteren Schnittebene werden verworfen
56
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik des Back Face Culling
- Back Face Culling ist Algorithmus, der Polygone verwirft, deren Normale von Kamera weg zeigen - bei geschlossenen Polygonnetzen sind diese Polygone auf Rückseite von Objekten und werden daher nicht gesehen
57
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik des Occlusion Culling
Occlusion Culling schließt solche Polygone von Weiterverarbeitung aus, die von anderen Objekten verdeckt werden
58
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik des Level of Detail
- Details virtueller Objekte können mit steigender Distanz zum Beobachter zunehmend schlecht di%erenziert werden - Um weniger Eckpunkte verarbeiten zu müssen, kann Komplexität (engl. Level of Detail) von entfernten Objekten verringert werden
59
Wie lassen sich die Anzahl an Pixel ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik des Variable Rate Shading
- In Rendering Pipeline wird standardmäßig jedes Pixel des finalen Frames separat verarbeitet - Variable Rate Shading (VRS) erlaubt Zusammenfassung von Pixelblöcken zur Verarbeitung - Blockgröße wird abhängig von Region innerhalb des Frames gewählt
60
Beschreibe Foveated Rendering
61
Was ist die Foveated Reconstruction?
- nutzt Deep Learning - Pixeldichte in fovealem Bereich bleibt unverändert während Dichte in Peripherie um bis zu 99% reduziert wird
62
Nenne den Nachteil von Foveated Reconstruction
noch sehr rechenaufwändig
63
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
- Texturen - Sichtbarkeit - Frustum Culling - Back Face Culling - Occlusion Culling - Level of Detail - Variable Rate Shading