Immersive Medien Flashcards

1
Q

Was beschreibt das Realitäts-Virtualitäts-Kontinuum?

A

umfasst verschiedene Abstufungen zwischen rein realen und rein virtuellen, d.h. computergenerierten, Umgebungen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Welche drei Anforderungen muss eine virtuelle Realität erfüllen?

A
  • Echtzeit-Rendering
  • Räumlichkeit (3D)
  • Interaktivität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Durch welche Kombination wird Mixed Reality möglich?

A
  • Augmentisierung (virtuelle Informationen zu realen hinzufügen)
  • Diminishment (löschen realer oder virtueller Objekte aus der Umgebung)
  • Modulation (Veränderung der Eigenschaften von Objekten)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was sind Immersive Head Mounted Displays?

A

präsentieren virtuelle Inhalte in den meisten Fällen auf zwei Bildschirmen, welche in einem Brillenrahmen eingefasst und somit in Augennähe angebracht sind

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Nenne die Ansätze, um Mixed Reality umzusetzen

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was sind Vorteile von Optical See Through?

A
  • keine Latenz und kein Qualitätsverlust für reale Umgebung
  • periphere Sicht für reale Umgebung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Was sind Vorteile von Video See Through?

A
  • Abdunklung realer Objekte möglich
  • keine Latenz zwischen realen und virtuellen Inhalten
  • günstiger herzustellen als OST
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Nenne Vorteile der Projektionsbasierten Displays

A
  • potentiell unbegrenzter Sichtbereich
  • keine bzw. nur leichtgewichtige Brillen notwendig
  • reduzierte Konflikte bzgl. Tiefenhinweise
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Im Bezug auf Tracking, was meint “Freiheitsgrade”?

A

definieren Menge bereitgestellter orthogonaler Informationen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Nenne die zwei klassischen Trackingverfahren

A
  • inside-out: an HMD befestigte Kamera(s) tracken Referenzpunkte in Umgebung
  • outside-in: statische Kamera(s) in Umgebung tracken HMD
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Nenne Vor- und Nachteile von Standalone Displays

A
  • Mobiler Einsatz +
  • Bewegungsfreiheit durch fehlende Kabel +
  • schlechtere Renderleistung
  • ungenaues Positionstracking
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Was bedeutet Omnidirektional?

A

Betrachtung räumlicher Szenen durch Berücksichtigung der Kopfbewegungen der Nutzer:innen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Nenne Limitationen von 360 Grad Aufnahmen

A

vermitteln realistischen visuellen Eindruck der Umgebung von konkreter Betrachterposition aus, sind jedoch limitiert bzgl.
- Positionsveränderungen des Nutzers
- Interaktionen des Nutzers mit der Umgebung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Was ist die Photogrammetrie?

A
  • Bei Photogrammetrie wird tatsächliche Form realer dreidimensionaler Objekte auf Basis von 2D-Bildern rekonstruiert
  • gute Ergebnisse können bereits mit üblichen Smartphone-Kameras erzielt werden
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Beschreibe den Ablauf der Photogrammetrie

A

1) Aufnahme überlappender Fotos des realen Objekts aus verschiedenen Richtungen
2) Photogrammetrische Triangulation
3) Generierung einer Punktwolke
4) Generierung eines (texturierten) 3D-Modells

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Realismus?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der manuelle Aufwand?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Speicherbedarf?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Rechenaufwand?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung stereoskopischer Darstellungen?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung freier Nutzerbewegungen?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung direkter Nutzerinteraktion?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Wie lassen sich Vorteile verschiedener Verfahren nutzen bei der Entwicklung von 3D Welten?

A

es können mehrere Formen der Szenenbeschreibung miteinander kombiniert werden (z.B. 360-Grad-Video für recheneffizienten Hintergrund + 3D- Modelle für interaktive Vordergrundobjekte)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Nenne Herausforderungen der Szenenkomposition aus 360-Grad und 3D-Modell

A
  • korrekte Verdeckungen
  • konsistente Tiefenwahrnehmung
  • konsistente Beleuchtung
  • Schattenwurf
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Durch welche Differenzen ist Geräuschlokalisierung möglich?
- interaurale Zeitunterschiede - interaurale Pegelunterschiede
26
Wie lassen sich die Differenzen zu Geräuschlokalisierung darstellen?
durch Head-related Transfer Functions
27
Wie kann man den Sound für virtuelle Szenen simulieren?
- durch Messungen in realen Umgebungen - Abschwächung der Lautstärke mit steigender Distanz
28
Worüber ist die Abschwächungskurve definiert?
über Rolloff (linear / log)
29
Wie könnte man die Sound-Simulation bei virtuellen Umgenbungen weiter optimieren?
- Persönliche HRTF-Funktionen abhängig von eigener Kopf-/Ohrmuschel-Form - Simulierte Reflektionen von Audiowellen an der virtuellen Umgebung - Realistische Sound-Effekte bei relativen Bewegungen zwischen Nutzer und Soundquelle (z.B. Doppler-Effekt)
30
Wie bindet man das A-Frame Framework ein?
Im head: < script src="https://aframe.io/releases/1.2.0/aframe.min.js">< /script >
31
Was muss man einbinden, um ein Objekt per a-frame einzubinden?
Eine Szene
32
Was bezeichnet mit Immersion "Präsenz"?
Bewusstseinszustand, der Illusion darstellt, das Gefühl zu haben in virtueller Umgebung zu sein
33
Beschreibe die einzelnen Komponenten der Präsenz
- PLACE ILLUSION – π beschreibt Illusion sich an einem virtuellen Ort zu befinden, trotz des Wissens nicht dort zu sein - PLAUSIBILITY ILLUSION – ψ beschreibt subjektive Wahrscheinlichkeit, dass beobachtete Ereignisse “wirklich” passieren - SOZIALE PRÄSENZ – σ beschreibt Gefühl im Beisein anderer Personen zu sein
34
Nenne Vorteile hoher Präsenz von immersiven Medien
- Besseres Nutzererlebnis (engl. User Experience); bzgl. Spannung, Vergnügen, Motivation etc. - Verhalten von Nutzer:innen näher an Realität (essenziell z.B. für Studien, Therapie von Phobien etc.) - natürlichere Kommunikation (durch soziale Präsenz)
35
Nenne Möglichkeiten zur Maximierung von Präsenz
- Visueller Realismus - Räumlicher Sound - Propriozeptische Übereinstimmung - Minimierung der Wahrnehmung des Displays selbst - Narrativ
36
Was bezeichnet den Präsenzbruch?
tritt auf, wenn Nutzer:in auf Sinneseindrücke realer Welt reagieren (statt auf virtuelle Stimuli)
37
Welche Maße gibt es zur Messung von Präsenz?
1. Subjektive Maße 2. Verhaltensmaße 3. Physiologische Maße
38
Beschreibe Witmer & Singers: Presence Questionnaire (PQ), 1994
Fragebogen zu - Kontroll-Faktoren - Sensorische Faktoren - Ablenkungsfaktoren - Realismus-Faktoren
39
Beschreibe den Slater-Usoh-Steed Presence Questionnaire
misst Eindruck in virtueller Umgebung zu sein, wie sehr sie zur dominanten Realität wird und wie sehr sie als „Ort“ erinnert wird
40
Beschreibe den Igroup Presence Questionnaire (IPQ)
misst räumliche Präsenz, Einbindung der Nutzer:innen und erlebten Realismus
41
Wie lassen sich Verhaltensmaße messen?
- Reflexartige motorische Bewegungen - Greifen nach virtuellen Objekten - Soziale Reaktionen auf Avatare - Agenten Schreckreaktionen
42
Beschreibe Bewegungskrankheit
Unerwünsch-te Symptome, die reale (physische oder visuelle) und/oder vorgetäuschte Bewegung begleiten
43
Beschreibe Cyberkrankheit
Visuell induzierte Bewegungskrankheit, die aus Immersion in einer computergenerierten virtuellen Welt resultiert
44
Beschreibe Simulatorkrankheit
Symptome, die wegen Limitation von Simulationen auftreten
45
Nenne häufigsten Symptome von der VR-Krankheit
- Okulomotorisch: Augenüberanstrengung, Schwierigkeiten beim Fokussieren, unscharfes Sehen und Kopfschmerzen - Übelkeit: Magenschmerzen, erhöhte Speichelbildung und Aufstoßen - Desorientiertheit: Schwindel und Gleichgewichtsstörungen
46
Beschreibe die Vergiftungstheorie
- Im Konflikt stehende sensorische Inputs in Kombination mit Schwindel sind Symptome, die mit einer Vergiftung assoziiert werden - Menschliche Körper haben Schutzmechanismus entwickelt, um physiologische Schäden bei Einnahme von Giften zu minimieren ➡ Reaktionen wie Erbrechen evolutionär sinnvoll
47
Beschreibe die Theorie der Augenbewegung
Motion Sickness könnte aus unnatürlichen Augenbewegungen resultieren, die notwendig sind, um durchgängig stabiles, scharfes Bild der virtuellen Szene auf Retina zu erzeugen
48
Beschreibe die Therie der sensorischen Konflikte
VR-Krankheit könnte hervorgerufen werden, wenn virtuelle Umgebung derart gestaltet ist, dass über unterschiedliche sensorische Rezeptoren empfangenen Informationen (insbesondere visuell und vestibulär) inkompatibel sind oder nicht mentalem Modell entsprechen [Reason & Brand, 1975]
49
Wie wird in VR Hinweise über Eigenbewegung gegeben?
- VR-Systemen beschränken üblicherweise Stimulationn auf externe Bewegungshinweise wie visuelle und auditive Stimuli - “Interne” Hinweise, die sensorischen Rezeptoren im Körper entstammen, sind in VR- Systemen schwerer zu simulieren ➡ Diskrepanzen zwischen simulierten und internen Hinweisen
50
Nenne mögliche Maßnahmen, die die VR-Krankheit reduzieren
- Head-Tracking - Simulation von Schrittbewegungen - kleines Sichtfeld während Bewegungen - statische virtuelle Referenzpunkte (z.B. Nase) - elektrische Reizung des Vestibulärsystems
51
Wie kann VR-Krankheit gemessen werden?
- Subjektive Maße - Physiologische Maße - Verhaltensmaße
52
In welchen Punkten unterscheiden sich Immersive Medien zu unidirektionalen Medien in der Komprimierung?
- Große Datenmengen - Hoher Grad an Interaktivität - Begrenzte Rechenpower
53
Was ist die Binokulare Disparität?
die Positions-Differenz eines Objekts in den retinalen Bildern des linken und rechten Auges
54
Was ist AI Upscaling?
- Statt Aufnahmen in hoher nativer Auflösung (z.B. 4K) abzuspeichern und zu verarbeiten, wird niedrigere Au$ösung (z.B. 1080p) gewählt - AI Upscaling bezeichnet Prozess, um aus gering aufgelösten Frame wieder hoch aufgelöstes Frame zu berechnen (durch Machine Learning Modelle)
55
Was beschreibt die Rendering-Pipeline?
Beschreibung einer Abfolge von Schritten, die Grafiksystem zum Rendern durchführen muss
56
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik der Texturen
- Durch Zuweisung (engl. Mapping) von 2D- Bildern (Texturen) auf 3D-Modell kann komplexere Geometrie mit größeren Anzahl an Eckpunkten simuliert werden - Mit Diffusen Maps kann Detailreichtum bzgl. Farben erzielt werden, während Normal Maps korrekte Beleuchtung / Schattierung von Unebenheiten simulieren
57
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik der Sichtbarkeit
- Sichtbarkeitsermittlung (Culling) erlaubt solche Polygone und deren Eckpunkte zu verwerfen, die nicht im Sichtfeld liegen - Abhängig von Strategie wird zwischen Frustum, Back Face und Occlusion Culling unterschieden
58
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik des Frustum Culling
- Beim Culling gegen Sichtvolumen (engl. Frustum Culling) können Polygone ausgeschlossen werden, die später nicht im Bild zu sehen sein werden - Sichtvolumen ist definiert durch Pyramidenstumpf, d.h. auch Polygone vor der vorderen oder hinter der hinteren Schnittebene werden verworfen
59
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik des Back Face Culling
- Back Face Culling ist Algorithmus, der Polygone verwirft, deren Normale von Kamera weg zeigen - bei geschlossenen Polygonnetzen sind diese Polygone auf Rückseite von Objekten und werden daher nicht gesehen
60
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik des Occlusion Culling
Occlusion Culling schließt solche Polygone von Weiterverarbeitung aus, die von anderen Objekten verdeckt werden
61
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik des Level of Detail
- Details virtueller Objekte können mit steigender Distanz zum Beobachter zunehmend schlecht di%erenziert werden - Um weniger Eckpunkte verarbeiten zu müssen, kann Komplexität (engl. Level of Detail) von entfernten Objekten verringert werden
62
Wie lassen sich die Anzahl an Pixel ohne hohen Qualitätsverlust reduzieren? Beschreibe die Technik des Variable Rate Shading
- In Rendering Pipeline wird standardmäßig jedes Pixel des finalen Frames separat verarbeitet - Variable Rate Shading (VRS) erlaubt Zusammenfassung von Pixelblöcken zur Verarbeitung - Blockgröße wird abhängig von Region innerhalb des Frames gewählt
63
Beschreibe Foveated Rendering
64
Was ist die Foveated Reconstruction?
- nutzt Deep Learning - Pixeldichte in fovealem Bereich bleibt unverändert während Dichte in Peripherie um bis zu 99% reduziert wird
65
Nenne den Nachteil von Foveated Reconstruction
noch sehr rechenaufwändig