Immersive Medien Flashcards

1
Q

Welche drei Anforderungen muss eine virtuelle Realität erfüllen?

A
  • Echtzeit-Rendering
  • Räumlichkeit (3D)
  • Interaktivität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Durch welche Kombination wird Mixed Reality möglich?

A
  • Augmentisierung (virtuelle Informationen zu realen hinzufügen)
  • Diminishment (löschen realer oder virtueller Objekte aus der Umgebung)
  • Modulation (Veränderung der Eigenschaften von Objekten)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Nenne die Ansätze, um Mixed Reality umzusetzen

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was sind Vorteile von Optical See Through?

A
  • keine Latenz und kein Qualitätsverlust für reale Umgebung
  • periphere Sicht für reale Umgebung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Was sind Vorteile von Video See Through?

A
  • Abdunklung realer Objekte möglich
  • keine Latenz zwischen realen und virtuellen Inhalten
  • günstiger herzustellen als OST
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Nenne Vorteile der Projektionsbasierten Displays

A
  • potentiell unbegrenzter Sichtbereich
  • keine bzw. nur leichtgewichtige Brillen notwendig
  • reduzierte Konflikte bzgl. Tiefenhinweise
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Im Bezug auf Tracking, was meint “Freiheitsgrade”?

A

definieren Menge bereitgestellter orthogonaler Informationen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Nenne die zwei klassischen Trackingverfahren

A
  • inside-out: an HMD befestigte Kamera(s) tracken Referenzpunkte in Umgebung
  • outside-in: statische Kamera(s) in Umgebung tracken HMD
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Nenne Vor- und Nachteile von Standalone Displays

A
  • Mobiler Einsatz +
  • Bewegungsfreiheit durch fehlende Kabel +
  • schlechtere Renderleistung
  • ungenaues Positionstracking
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was bedeutet Omnidirektional?

A

Betrachtung räumlicher Szenen durch Berücksichtigung der Kopfbewegungen der Nutzer:innen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Nenne Limitationen von 360 Grad Aufnahmen

A

vermitteln realistischen visuellen Eindruck der Umgebung von konkreter Betrachterposition aus, sind jedoch limitiert bzgl.
- Positionsveränderungen des Nutzers
- Interaktionen des Nutzers mit der Umgebung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Was ist die Photogrammetrie?

A
  • Bei Photogrammetrie wird tatsächliche Form realer dreidimensionaler Objekte auf Basis von 2D-Bildern rekonstruiert
  • gute Ergebnisse können bereits mit üblichen Smartphone-Kameras erzielt werden
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Beschreibe den Ablauf der Photogrammetrie

A

1) Aufnahme überlappender Fotos des realen Objekts aus verschiedenen Richtungen
2) Photogrammetrische Triangulation
3) Generierung einer Punktwolke
4) Generierung eines (texturierten) 3D-Modells

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Realismus?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der manuelle Aufwand?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Speicherbedarf?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Rechenaufwand?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung stereoskopischer Darstellungen?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung freier Nutzerbewegungen?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung direkter Nutzerinteraktion?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Wie lassen sich Vorteile verschiedener Verfahren nutzen bei der Entwicklung von 3D Welten?

A

es können mehrere Formen der Szenenbeschreibung miteinander kombiniert werden (z.B. 360-Grad-Video für recheneffizienten Hintergrund + 3D- Modelle für interaktive Vordergrundobjekte)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Nenne Herausforderungen der Szenenkomposition aus 360-Grad und 3D-Modell

A
  • korrekte Verdeckungen
  • konsistente Tiefenwahrnehmung
  • konsistente Beleuchtung
  • Schattenwurf
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Durch welche Differenzen ist Geräuschlokalisierung möglich?

A
  • interaurale Zeitunterschiede
  • interaurale Pegelunterschiede
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Wie lassen sich die Differenzen zu Geräuschlokalisierung darstellen?

A

durch Head-related Transfer Functions

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Wie kann man den Sound für virtuelle Szenen simulieren?

A
  • durch Messungen in realen Umgebungen
  • Abschwächung der Lautstärke mit steigender Distanz
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Worüber ist die Abschwächungskurve definiert?

A

über Rolloff (linear / log)

27
Q

Wie könnte man die Sound-Simulation bei virtuellen Umgenbungen weiter optimieren?

A
  • Persönliche HRTF-Funktionen abhängig von eigener Kopf-/Ohrmuschel-Form
  • Simulierte Reflektionen von Audiowellen an der virtuellen Umgebung
  • Realistische Sound-Effekte bei relativen Bewegungen zwischen Nutzer und Soundquelle (z.B. Doppler-Effekt)
28
Q

Wie bindet man das A-Frame Framework ein?

A

Im head:
< script src=”https://aframe.io/releases/1.2.0/aframe.min.js”>< /script >

29
Q

Was muss man einbinden, um ein Objekt per a-frame einzubinden?

A

Eine Szene

30
Q

Was bezeichnet mit Immersion “Präsenz”?

A

Bewusstseinszustand, der Illusion darstellt, das Gefühl zu haben in virtueller Umgebung zu sein

31
Q

Nenne Vorteile hoher Präsenz von immersiven Medien

A
  • Besseres Nutzererlebnis (engl. User Experience); bzgl. Spannung, Vergnügen, Motivation etc.
  • Verhalten von Nutzer:innen näher an Realität (essenziell z.B. für Studien, Therapie von Phobien etc.)
  • natürlichere Kommunikation (durch soziale Präsenz)
32
Q

Nenne Möglichkeiten zur Maximierung von Präsenz

A
  • Visueller Realismus
  • Räumlicher Sound
  • Propriozeptische Übereinstimmung
  • Minimierung der Wahrnehmung des Displays selbst
  • Narrativ
33
Q

Was bezeichnet den Präsenzbruch?

A

tritt auf, wenn Nutzer:in auf Sinneseindrücke realer Welt reagieren (statt auf virtuelle Stimuli)

34
Q

Welche Maße gibt es zur Messung von Präsenz?

A
  1. Subjektive Maße
  2. Verhaltensmaße
  3. Physiologische Maße
35
Q

Beschreibe Witmer & Singers: Presence Questionnaire (PQ), 1994

A

Fragebogen zu
- Kontroll-Faktoren
- Sensorische Faktoren
- Ablenkungsfaktoren
- Realismus-Faktoren

36
Q

Beschreibe den Slater-Usoh-Steed Presence Questionnaire

A

misst Eindruck in virtueller Umgebung zu sein, wie sehr sie zur dominanten Realität wird und wie sehr sie als „Ort“ erinnert wird

37
Q

Beschreibe den Igroup Presence Questionnaire (IPQ)

A

misst räumliche Präsenz, Einbindung
der Nutzer:innen und erlebten Realismus

38
Q

Wie lassen sich Verhaltensmaße messen?

A
  • Reflexartige motorische Bewegungen
  • Greifen nach virtuellen Objekten
  • Soziale Reaktionen auf Avatare
  • Agenten Schreckreaktionen
39
Q

Beschreibe Bewegungskrankheit

A

Unerwünsch-te Symptome, die reale (physische oder visuelle) und/oder vorgetäuschte Bewegung begleiten

40
Q

Beschreibe Cyberkrankheit

A

Visuell induzierte Bewegungskrankheit, die aus Immersion in einer computergenerierten virtuellen Welt resultiert

41
Q

Beschreibe Simulatorkrankheit

A

Symptome, die wegen Limitation von Simulationen auftreten

42
Q

Nenne häufigsten Symptome von der VR-Krankheit

A
  • Okulomotorisch: Augenüberanstrengung, Schwierigkeiten beim Fokussieren, unscharfes Sehen und Kopfschmerzen
  • Übelkeit: Magenschmerzen, erhöhte Speichelbildung und Aufstoßen
  • Desorientiertheit: Schwindel und Gleichgewichtsstörungen
43
Q

Beschreibe die Vergiftungstheorie

A
  • Im Konflikt stehende sensorische Inputs in Kombination mit Schwindel sind Symptome, die mit einer Vergiftung assoziiert werden
  • Menschliche Körper haben Schutzmechanismus entwickelt, um physiologische Schäden bei Einnahme von Giften zu minimieren
    ➡ Reaktionen wie Erbrechen evolutionär sinnvoll
44
Q

Beschreibe die Theorie der Augenbewegung

A

Motion Sickness könnte aus unnatürlichen Augenbewegungen resultieren, die notwendig sind, um durchgängig stabiles, scharfes Bild der virtuellen Szene auf Retina zu erzeugen

45
Q

Beschreibe die Therie der sensorischen Konflikte

A

VR-Krankheit könnte hervorgerufen werden, wenn virtuelle Umgebung derart gestaltet ist, dass über unterschiedliche sensorische Rezeptoren empfangenen Informationen (insbesondere visuell und vestibulär) inkompatibel sind oder nicht mentalem Modell entsprechen [Reason & Brand, 1975]

46
Q

Wie wird in VR Hinweise über Eigenbewegung gegeben?

A
  • VR-Systemen beschränken üblicherweise Stimulationn auf externe Bewegungshinweise wie visuelle und auditive Stimuli
  • “Interne” Hinweise, die sensorischen Rezeptoren im Körper entstammen, sind in VR- Systemen schwerer zu simulieren

➡ Diskrepanzen zwischen simulierten und internen Hinweisen

47
Q

Nenne mögliche Maßnahmen, die die VR-Krankheit reduzieren

A
  • Head-Tracking
  • Simulation von Schrittbewegungen
  • kleines Sichtfeld während Bewegungen
  • statische virtuelle Referenzpunkte (z.B. Nase)
  • elektrische Reizung des Vestibulärsystems
48
Q

Wie kann VR-Krankheit gemessen werden?

A
  • Subjektive Maße
  • Physiologische Maße
  • Verhaltensmaße
49
Q

In welchen Punkten unterscheiden sich Immersive Medien zu unidirektionalen Medien in der Komprimierung?

A
  • Große Datenmengen
  • Hoher Grad an Interaktivität
  • Begrenzte Rechenpower
50
Q

Was ist die Binokulare Disparität?

A

die Positions-Differenz eines Objekts in den retinalen Bildern des linken und rechten Auges

51
Q

Was ist AI Upscaling?

A
  • Statt Aufnahmen in hoher nativer Auflösung (z.B. 4K) abzuspeichern und zu verarbeiten, wird niedrigere Au$ösung (z.B. 1080p) gewählt
  • AI Upscaling bezeichnet Prozess, um aus gering aufgelösten Frame wieder hoch aufgelöstes Frame zu berechnen (durch Machine Learning Modelle)
52
Q

Was beschreibt die Rendering-Pipeline?

A

Beschreibung einer Abfolge von Schritten, die Grafiksystem zum Rendern durchführen muss

53
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik der Texturen

A
  • Durch Zuweisung (engl. Mapping) von 2D- Bildern (Texturen) auf 3D-Modell kann komplexere Geometrie mit größeren Anzahl an Eckpunkten simuliert werden
  • Mit Diffusen Maps kann Detailreichtum bzgl. Farben erzielt werden, während
    Normal Maps korrekte Beleuchtung / Schattierung von Unebenheiten simulieren
54
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik der Sichtbarkeit

A
  • Sichtbarkeitsermittlung (Culling) erlaubt solche Polygone und deren Eckpunkte zu verwerfen, die nicht im Sichtfeld liegen
  • Abhängig von Strategie wird zwischen Frustum, Back Face und Occlusion Culling unterschieden
55
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Frustum Culling

A
  • Beim Culling gegen Sichtvolumen (engl. Frustum Culling) können Polygone ausgeschlossen werden, die später nicht im Bild zu sehen sein werden
  • Sichtvolumen ist definiert durch Pyramidenstumpf, d.h. auch Polygone vor der vorderen oder hinter der hinteren Schnittebene werden verworfen
56
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Back Face Culling

A
  • Back Face Culling ist Algorithmus, der Polygone verwirft, deren Normale von Kamera weg zeigen
  • bei geschlossenen Polygonnetzen sind diese Polygone auf Rückseite von Objekten und werden daher nicht gesehen
57
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Occlusion Culling

A

Occlusion Culling schließt solche Polygone von Weiterverarbeitung aus, die von anderen Objekten verdeckt werden

58
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Level of Detail

A
  • Details virtueller Objekte können mit steigender Distanz zum Beobachter zunehmend schlecht di%erenziert werden
  • Um weniger Eckpunkte verarbeiten zu müssen, kann Komplexität (engl. Level of Detail) von entfernten Objekten verringert werden
59
Q

Wie lassen sich die Anzahl an Pixel ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Variable Rate Shading

A
  • In Rendering Pipeline wird standardmäßig jedes Pixel des finalen Frames separat verarbeitet
  • Variable Rate Shading (VRS) erlaubt Zusammenfassung von Pixelblöcken zur Verarbeitung
  • Blockgröße wird abhängig von Region innerhalb des Frames gewählt
60
Q

Beschreibe Foveated Rendering

A
61
Q

Was ist die Foveated Reconstruction?

A
  • nutzt Deep Learning
  • Pixeldichte in fovealem Bereich bleibt unverändert während Dichte in Peripherie um bis zu 99% reduziert wird
62
Q

Nenne den Nachteil von Foveated Reconstruction

A

noch sehr rechenaufwändig

63
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?

A
  • Texturen
  • Sichtbarkeit
  • Frustum Culling
  • Back Face Culling
  • Occlusion Culling
  • Level of Detail
  • Variable Rate Shading