Immersive Medien Flashcards

1
Q

Was beschreibt das Realitäts-Virtualitäts-Kontinuum?

A

umfasst verschiedene Abstufungen zwischen rein realen und rein virtuellen, d.h. computergenerierten, Umgebungen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Welche drei Anforderungen muss eine virtuelle Realität erfüllen?

A
  • Echtzeit-Rendering
  • Räumlichkeit (3D)
  • Interaktivität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Durch welche Kombination wird Mixed Reality möglich?

A
  • Augmentisierung (virtuelle Informationen zu realen hinzufügen)
  • Diminishment (löschen realer oder virtueller Objekte aus der Umgebung)
  • Modulation (Veränderung der Eigenschaften von Objekten)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was sind Immersive Head Mounted Displays?

A

präsentieren virtuelle Inhalte in den meisten Fällen auf zwei Bildschirmen, welche in einem Brillenrahmen eingefasst und somit in Augennähe angebracht sind

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Nenne die Ansätze, um Mixed Reality umzusetzen

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was sind Vorteile von Optical See Through?

A
  • keine Latenz und kein Qualitätsverlust für reale Umgebung
  • periphere Sicht für reale Umgebung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Was sind Vorteile von Video See Through?

A
  • Abdunklung realer Objekte möglich
  • keine Latenz zwischen realen und virtuellen Inhalten
  • günstiger herzustellen als OST
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Nenne Vorteile der Projektionsbasierten Displays

A
  • potentiell unbegrenzter Sichtbereich
  • keine bzw. nur leichtgewichtige Brillen notwendig
  • reduzierte Konflikte bzgl. Tiefenhinweise
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Im Bezug auf Tracking, was meint “Freiheitsgrade”?

A

definieren Menge bereitgestellter orthogonaler Informationen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Nenne die zwei klassischen Trackingverfahren

A
  • inside-out: an HMD befestigte Kamera(s) tracken Referenzpunkte in Umgebung
  • outside-in: statische Kamera(s) in Umgebung tracken HMD
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Nenne Vor- und Nachteile von Standalone Displays

A
  • Mobiler Einsatz +
  • Bewegungsfreiheit durch fehlende Kabel +
  • schlechtere Renderleistung
  • ungenaues Positionstracking
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Was bedeutet Omnidirektional?

A

Betrachtung räumlicher Szenen durch Berücksichtigung der Kopfbewegungen der Nutzer:innen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Nenne Limitationen von 360 Grad Aufnahmen

A

vermitteln realistischen visuellen Eindruck der Umgebung von konkreter Betrachterposition aus, sind jedoch limitiert bzgl.
- Positionsveränderungen des Nutzers
- Interaktionen des Nutzers mit der Umgebung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Was ist die Photogrammetrie?

A
  • Bei Photogrammetrie wird tatsächliche Form realer dreidimensionaler Objekte auf Basis von 2D-Bildern rekonstruiert
  • gute Ergebnisse können bereits mit üblichen Smartphone-Kameras erzielt werden
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Beschreibe den Ablauf der Photogrammetrie

A

1) Aufnahme überlappender Fotos des realen Objekts aus verschiedenen Richtungen
2) Photogrammetrische Triangulation
3) Generierung einer Punktwolke
4) Generierung eines (texturierten) 3D-Modells

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Realismus?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der manuelle Aufwand?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Speicherbedarf?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Rechenaufwand?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung stereoskopischer Darstellungen?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung freier Nutzerbewegungen?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung direkter Nutzerinteraktion?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Wie lassen sich Vorteile verschiedener Verfahren nutzen bei der Entwicklung von 3D Welten?

A

es können mehrere Formen der Szenenbeschreibung miteinander kombiniert werden (z.B. 360-Grad-Video für recheneffizienten Hintergrund + 3D- Modelle für interaktive Vordergrundobjekte)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Nenne Herausforderungen der Szenenkomposition aus 360-Grad und 3D-Modell

A
  • korrekte Verdeckungen
  • konsistente Tiefenwahrnehmung
  • konsistente Beleuchtung
  • Schattenwurf
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Durch welche Differenzen ist Geräuschlokalisierung möglich?

A
  • interaurale Zeitunterschiede
  • interaurale Pegelunterschiede
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Wie lassen sich die Differenzen zu Geräuschlokalisierung darstellen?

A

durch Head-related Transfer Functions

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Wie kann man den Sound für virtuelle Szenen simulieren?

A
  • durch Messungen in realen Umgebungen
  • Abschwächung der Lautstärke mit steigender Distanz
28
Q

Worüber ist die Abschwächungskurve definiert?

A

über Rolloff (linear / log)

29
Q

Wie könnte man die Sound-Simulation bei virtuellen Umgenbungen weiter optimieren?

A
  • Persönliche HRTF-Funktionen abhängig von eigener Kopf-/Ohrmuschel-Form
  • Simulierte Reflektionen von Audiowellen an der virtuellen Umgebung
  • Realistische Sound-Effekte bei relativen Bewegungen zwischen Nutzer und Soundquelle (z.B. Doppler-Effekt)
30
Q

Wie bindet man das A-Frame Framework ein?

A

Im head:
< script src=”https://aframe.io/releases/1.2.0/aframe.min.js”>< /script >

31
Q

Was muss man einbinden, um ein Objekt per a-frame einzubinden?

A

Eine Szene

32
Q

Was bezeichnet mit Immersion “Präsenz”?

A

Bewusstseinszustand, der Illusion darstellt, das Gefühl zu haben in virtueller Umgebung zu sein

33
Q

Beschreibe die einzelnen Komponenten der Präsenz

A
  • PLACE ILLUSION
    – π beschreibt Illusion sich an einem virtuellen Ort zu befinden, trotz des Wissens nicht dort zu sein
  • PLAUSIBILITY ILLUSION
    – ψ beschreibt subjektive Wahrscheinlichkeit, dass beobachtete Ereignisse “wirklich” passieren
  • SOZIALE PRÄSENZ
    – σ beschreibt Gefühl im Beisein anderer Personen zu sein
34
Q

Nenne Vorteile hoher Präsenz von immersiven Medien

A
  • Besseres Nutzererlebnis (engl. User Experience); bzgl. Spannung, Vergnügen, Motivation etc.
  • Verhalten von Nutzer:innen näher an Realität (essenziell z.B. für Studien, Therapie von Phobien etc.)
  • natürlichere Kommunikation (durch soziale Präsenz)
35
Q

Nenne Möglichkeiten zur Maximierung von Präsenz

A
  • Visueller Realismus
  • Räumlicher Sound
  • Propriozeptische Übereinstimmung
  • Minimierung der Wahrnehmung des Displays selbst
  • Narrativ
36
Q

Was bezeichnet den Präsenzbruch?

A

tritt auf, wenn Nutzer:in auf Sinneseindrücke realer Welt reagieren (statt auf virtuelle Stimuli)

37
Q

Welche Maße gibt es zur Messung von Präsenz?

A
  1. Subjektive Maße
  2. Verhaltensmaße
  3. Physiologische Maße
38
Q

Beschreibe Witmer & Singers: Presence Questionnaire (PQ), 1994

A

Fragebogen zu
- Kontroll-Faktoren
- Sensorische Faktoren
- Ablenkungsfaktoren
- Realismus-Faktoren

39
Q

Beschreibe den Slater-Usoh-Steed Presence Questionnaire

A

misst Eindruck in virtueller Umgebung zu sein, wie sehr sie zur dominanten Realität wird und wie sehr sie als „Ort“ erinnert wird

40
Q

Beschreibe den Igroup Presence Questionnaire (IPQ)

A

misst räumliche Präsenz, Einbindung
der Nutzer:innen und erlebten Realismus

41
Q

Wie lassen sich Verhaltensmaße messen?

A
  • Reflexartige motorische Bewegungen
  • Greifen nach virtuellen Objekten
  • Soziale Reaktionen auf Avatare
  • Agenten Schreckreaktionen
42
Q

Beschreibe Bewegungskrankheit

A

Unerwünsch-te Symptome, die reale (physische oder visuelle) und/oder vorgetäuschte Bewegung begleiten

43
Q

Beschreibe Cyberkrankheit

A

Visuell induzierte Bewegungskrankheit, die aus Immersion in einer computergenerierten virtuellen Welt resultiert

44
Q

Beschreibe Simulatorkrankheit

A

Symptome, die wegen Limitation von Simulationen auftreten

45
Q

Nenne häufigsten Symptome von der VR-Krankheit

A
  • Okulomotorisch: Augenüberanstrengung, Schwierigkeiten beim Fokussieren, unscharfes Sehen und Kopfschmerzen
  • Übelkeit: Magenschmerzen, erhöhte Speichelbildung und Aufstoßen
  • Desorientiertheit: Schwindel und Gleichgewichtsstörungen
46
Q

Beschreibe die Vergiftungstheorie

A
  • Im Konflikt stehende sensorische Inputs in Kombination mit Schwindel sind Symptome, die mit einer Vergiftung assoziiert werden
  • Menschliche Körper haben Schutzmechanismus entwickelt, um physiologische Schäden bei Einnahme von Giften zu minimieren
    ➡ Reaktionen wie Erbrechen evolutionär sinnvoll
47
Q

Beschreibe die Theorie der Augenbewegung

A

Motion Sickness könnte aus unnatürlichen Augenbewegungen resultieren, die notwendig sind, um durchgängig stabiles, scharfes Bild der virtuellen Szene auf Retina zu erzeugen

48
Q

Beschreibe die Therie der sensorischen Konflikte

A

VR-Krankheit könnte hervorgerufen werden, wenn virtuelle Umgebung derart gestaltet ist, dass über unterschiedliche sensorische Rezeptoren empfangenen Informationen (insbesondere visuell und vestibulär) inkompatibel sind oder nicht mentalem Modell entsprechen [Reason & Brand, 1975]

49
Q

Wie wird in VR Hinweise über Eigenbewegung gegeben?

A
  • VR-Systemen beschränken üblicherweise Stimulationn auf externe Bewegungshinweise wie visuelle und auditive Stimuli
  • “Interne” Hinweise, die sensorischen Rezeptoren im Körper entstammen, sind in VR- Systemen schwerer zu simulieren

➡ Diskrepanzen zwischen simulierten und internen Hinweisen

50
Q

Nenne mögliche Maßnahmen, die die VR-Krankheit reduzieren

A
  • Head-Tracking
  • Simulation von Schrittbewegungen
  • kleines Sichtfeld während Bewegungen
  • statische virtuelle Referenzpunkte (z.B. Nase)
  • elektrische Reizung des Vestibulärsystems
51
Q

Wie kann VR-Krankheit gemessen werden?

A
  • Subjektive Maße
  • Physiologische Maße
  • Verhaltensmaße
52
Q

In welchen Punkten unterscheiden sich Immersive Medien zu unidirektionalen Medien in der Komprimierung?

A
  • Große Datenmengen
  • Hoher Grad an Interaktivität
  • Begrenzte Rechenpower
53
Q

Was ist die Binokulare Disparität?

A

die Positions-Differenz eines Objekts in den retinalen Bildern des linken und rechten Auges

54
Q

Was ist AI Upscaling?

A
  • Statt Aufnahmen in hoher nativer Auflösung (z.B. 4K) abzuspeichern und zu verarbeiten, wird niedrigere Au$ösung (z.B. 1080p) gewählt
  • AI Upscaling bezeichnet Prozess, um aus gering aufgelösten Frame wieder hoch aufgelöstes Frame zu berechnen (durch Machine Learning Modelle)
55
Q

Was beschreibt die Rendering-Pipeline?

A

Beschreibung einer Abfolge von Schritten, die Grafiksystem zum Rendern durchführen muss

56
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik der Texturen

A
  • Durch Zuweisung (engl. Mapping) von 2D- Bildern (Texturen) auf 3D-Modell kann komplexere Geometrie mit größeren Anzahl an Eckpunkten simuliert werden
  • Mit Diffusen Maps kann Detailreichtum bzgl. Farben erzielt werden, während
    Normal Maps korrekte Beleuchtung / Schattierung von Unebenheiten simulieren
57
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik der Sichtbarkeit

A
  • Sichtbarkeitsermittlung (Culling) erlaubt solche Polygone und deren Eckpunkte zu verwerfen, die nicht im Sichtfeld liegen
  • Abhängig von Strategie wird zwischen Frustum, Back Face und Occlusion Culling unterschieden
58
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Frustum Culling

A
  • Beim Culling gegen Sichtvolumen (engl. Frustum Culling) können Polygone ausgeschlossen werden, die später nicht im Bild zu sehen sein werden
  • Sichtvolumen ist definiert durch Pyramidenstumpf, d.h. auch Polygone vor der vorderen oder hinter der hinteren Schnittebene werden verworfen
59
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Back Face Culling

A
  • Back Face Culling ist Algorithmus, der Polygone verwirft, deren Normale von Kamera weg zeigen
  • bei geschlossenen Polygonnetzen sind diese Polygone auf Rückseite von Objekten und werden daher nicht gesehen
60
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Occlusion Culling

A

Occlusion Culling schließt solche Polygone von Weiterverarbeitung aus, die von anderen Objekten verdeckt werden

61
Q

Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Level of Detail

A
  • Details virtueller Objekte können mit steigender Distanz zum Beobachter zunehmend schlecht di%erenziert werden
  • Um weniger Eckpunkte verarbeiten zu müssen, kann Komplexität (engl. Level of Detail) von entfernten Objekten verringert werden
62
Q

Wie lassen sich die Anzahl an Pixel ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Variable Rate Shading

A
  • In Rendering Pipeline wird standardmäßig jedes Pixel des finalen Frames separat verarbeitet
  • Variable Rate Shading (VRS) erlaubt Zusammenfassung von Pixelblöcken zur Verarbeitung
  • Blockgröße wird abhängig von Region innerhalb des Frames gewählt
63
Q

Beschreibe Foveated Rendering

A
64
Q

Was ist die Foveated Reconstruction?

A
  • nutzt Deep Learning
  • Pixeldichte in fovealem Bereich bleibt unverändert während Dichte in Peripherie um bis zu 99% reduziert wird
65
Q

Nenne den Nachteil von Foveated Reconstruction

A

noch sehr rechenaufwändig