Immersive Medien Flashcards
Was beschreibt das Realitäts-Virtualitäts-Kontinuum?
umfasst verschiedene Abstufungen zwischen rein realen und rein virtuellen, d.h. computergenerierten, Umgebungen
Welche drei Anforderungen muss eine virtuelle Realität erfüllen?
- Echtzeit-Rendering
- Räumlichkeit (3D)
- Interaktivität
Durch welche Kombination wird Mixed Reality möglich?
- Augmentisierung (virtuelle Informationen zu realen hinzufügen)
- Diminishment (löschen realer oder virtueller Objekte aus der Umgebung)
- Modulation (Veränderung der Eigenschaften von Objekten)
Was sind Immersive Head Mounted Displays?
präsentieren virtuelle Inhalte in den meisten Fällen auf zwei Bildschirmen, welche in einem Brillenrahmen eingefasst und somit in Augennähe angebracht sind
Nenne die Ansätze, um Mixed Reality umzusetzen
Was sind Vorteile von Optical See Through?
- keine Latenz und kein Qualitätsverlust für reale Umgebung
- periphere Sicht für reale Umgebung
Was sind Vorteile von Video See Through?
- Abdunklung realer Objekte möglich
- keine Latenz zwischen realen und virtuellen Inhalten
- günstiger herzustellen als OST
Nenne Vorteile der Projektionsbasierten Displays
- potentiell unbegrenzter Sichtbereich
- keine bzw. nur leichtgewichtige Brillen notwendig
- reduzierte Konflikte bzgl. Tiefenhinweise
Im Bezug auf Tracking, was meint “Freiheitsgrade”?
definieren Menge bereitgestellter orthogonaler Informationen
Nenne die zwei klassischen Trackingverfahren
- inside-out: an HMD befestigte Kamera(s) tracken Referenzpunkte in Umgebung
- outside-in: statische Kamera(s) in Umgebung tracken HMD
Nenne Vor- und Nachteile von Standalone Displays
- Mobiler Einsatz +
- Bewegungsfreiheit durch fehlende Kabel +
- schlechtere Renderleistung
- ungenaues Positionstracking
Was bedeutet Omnidirektional?
Betrachtung räumlicher Szenen durch Berücksichtigung der Kopfbewegungen der Nutzer:innen
Nenne Limitationen von 360 Grad Aufnahmen
vermitteln realistischen visuellen Eindruck der Umgebung von konkreter Betrachterposition aus, sind jedoch limitiert bzgl.
- Positionsveränderungen des Nutzers
- Interaktionen des Nutzers mit der Umgebung
Was ist die Photogrammetrie?
- Bei Photogrammetrie wird tatsächliche Form realer dreidimensionaler Objekte auf Basis von 2D-Bildern rekonstruiert
- gute Ergebnisse können bereits mit üblichen Smartphone-Kameras erzielt werden
Beschreibe den Ablauf der Photogrammetrie
1) Aufnahme überlappender Fotos des realen Objekts aus verschiedenen Richtungen
2) Photogrammetrische Triangulation
3) Generierung einer Punktwolke
4) Generierung eines (texturierten) 3D-Modells
Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Realismus?
Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der manuelle Aufwand?
Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Speicherbedarf?
Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie hoch ist der Rechenaufwand?
Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung stereoskopischer Darstellungen?
Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung freier Nutzerbewegungen?
Im Vergleich der 360-Grad-Aufnahem, der Photogrammetrie und der Modellierung, wie stark ist die Unterstützung direkter Nutzerinteraktion?
Wie lassen sich Vorteile verschiedener Verfahren nutzen bei der Entwicklung von 3D Welten?
es können mehrere Formen der Szenenbeschreibung miteinander kombiniert werden (z.B. 360-Grad-Video für recheneffizienten Hintergrund + 3D- Modelle für interaktive Vordergrundobjekte)
Nenne Herausforderungen der Szenenkomposition aus 360-Grad und 3D-Modell
- korrekte Verdeckungen
- konsistente Tiefenwahrnehmung
- konsistente Beleuchtung
- Schattenwurf
Durch welche Differenzen ist Geräuschlokalisierung möglich?
- interaurale Zeitunterschiede
- interaurale Pegelunterschiede
Wie lassen sich die Differenzen zu Geräuschlokalisierung darstellen?
durch Head-related Transfer Functions
Wie kann man den Sound für virtuelle Szenen simulieren?
- durch Messungen in realen Umgebungen
- Abschwächung der Lautstärke mit steigender Distanz
Worüber ist die Abschwächungskurve definiert?
über Rolloff (linear / log)
Wie könnte man die Sound-Simulation bei virtuellen Umgenbungen weiter optimieren?
- Persönliche HRTF-Funktionen abhängig von eigener Kopf-/Ohrmuschel-Form
- Simulierte Reflektionen von Audiowellen an der virtuellen Umgebung
- Realistische Sound-Effekte bei relativen Bewegungen zwischen Nutzer und Soundquelle (z.B. Doppler-Effekt)
Wie bindet man das A-Frame Framework ein?
Im head:
< script src=”https://aframe.io/releases/1.2.0/aframe.min.js”>< /script >
Was muss man einbinden, um ein Objekt per a-frame einzubinden?
Eine Szene
Was bezeichnet mit Immersion “Präsenz”?
Bewusstseinszustand, der Illusion darstellt, das Gefühl zu haben in virtueller Umgebung zu sein
Beschreibe die einzelnen Komponenten der Präsenz
- PLACE ILLUSION
– π beschreibt Illusion sich an einem virtuellen Ort zu befinden, trotz des Wissens nicht dort zu sein - PLAUSIBILITY ILLUSION
– ψ beschreibt subjektive Wahrscheinlichkeit, dass beobachtete Ereignisse “wirklich” passieren - SOZIALE PRÄSENZ
– σ beschreibt Gefühl im Beisein anderer Personen zu sein
Nenne Vorteile hoher Präsenz von immersiven Medien
- Besseres Nutzererlebnis (engl. User Experience); bzgl. Spannung, Vergnügen, Motivation etc.
- Verhalten von Nutzer:innen näher an Realität (essenziell z.B. für Studien, Therapie von Phobien etc.)
- natürlichere Kommunikation (durch soziale Präsenz)
Nenne Möglichkeiten zur Maximierung von Präsenz
- Visueller Realismus
- Räumlicher Sound
- Propriozeptische Übereinstimmung
- Minimierung der Wahrnehmung des Displays selbst
- Narrativ
Was bezeichnet den Präsenzbruch?
tritt auf, wenn Nutzer:in auf Sinneseindrücke realer Welt reagieren (statt auf virtuelle Stimuli)
Welche Maße gibt es zur Messung von Präsenz?
- Subjektive Maße
- Verhaltensmaße
- Physiologische Maße
Beschreibe Witmer & Singers: Presence Questionnaire (PQ), 1994
Fragebogen zu
- Kontroll-Faktoren
- Sensorische Faktoren
- Ablenkungsfaktoren
- Realismus-Faktoren
Beschreibe den Slater-Usoh-Steed Presence Questionnaire
misst Eindruck in virtueller Umgebung zu sein, wie sehr sie zur dominanten Realität wird und wie sehr sie als „Ort“ erinnert wird
Beschreibe den Igroup Presence Questionnaire (IPQ)
misst räumliche Präsenz, Einbindung
der Nutzer:innen und erlebten Realismus
Wie lassen sich Verhaltensmaße messen?
- Reflexartige motorische Bewegungen
- Greifen nach virtuellen Objekten
- Soziale Reaktionen auf Avatare
- Agenten Schreckreaktionen
Beschreibe Bewegungskrankheit
Unerwünsch-te Symptome, die reale (physische oder visuelle) und/oder vorgetäuschte Bewegung begleiten
Beschreibe Cyberkrankheit
Visuell induzierte Bewegungskrankheit, die aus Immersion in einer computergenerierten virtuellen Welt resultiert
Beschreibe Simulatorkrankheit
Symptome, die wegen Limitation von Simulationen auftreten
Nenne häufigsten Symptome von der VR-Krankheit
- Okulomotorisch: Augenüberanstrengung, Schwierigkeiten beim Fokussieren, unscharfes Sehen und Kopfschmerzen
- Übelkeit: Magenschmerzen, erhöhte Speichelbildung und Aufstoßen
- Desorientiertheit: Schwindel und Gleichgewichtsstörungen
Beschreibe die Vergiftungstheorie
- Im Konflikt stehende sensorische Inputs in Kombination mit Schwindel sind Symptome, die mit einer Vergiftung assoziiert werden
- Menschliche Körper haben Schutzmechanismus entwickelt, um physiologische Schäden bei Einnahme von Giften zu minimieren
➡ Reaktionen wie Erbrechen evolutionär sinnvoll
Beschreibe die Theorie der Augenbewegung
Motion Sickness könnte aus unnatürlichen Augenbewegungen resultieren, die notwendig sind, um durchgängig stabiles, scharfes Bild der virtuellen Szene auf Retina zu erzeugen
Beschreibe die Therie der sensorischen Konflikte
VR-Krankheit könnte hervorgerufen werden, wenn virtuelle Umgebung derart gestaltet ist, dass über unterschiedliche sensorische Rezeptoren empfangenen Informationen (insbesondere visuell und vestibulär) inkompatibel sind oder nicht mentalem Modell entsprechen [Reason & Brand, 1975]
Wie wird in VR Hinweise über Eigenbewegung gegeben?
- VR-Systemen beschränken üblicherweise Stimulationn auf externe Bewegungshinweise wie visuelle und auditive Stimuli
- “Interne” Hinweise, die sensorischen Rezeptoren im Körper entstammen, sind in VR- Systemen schwerer zu simulieren
➡ Diskrepanzen zwischen simulierten und internen Hinweisen
Nenne mögliche Maßnahmen, die die VR-Krankheit reduzieren
- Head-Tracking
- Simulation von Schrittbewegungen
- kleines Sichtfeld während Bewegungen
- statische virtuelle Referenzpunkte (z.B. Nase)
- elektrische Reizung des Vestibulärsystems
Wie kann VR-Krankheit gemessen werden?
- Subjektive Maße
- Physiologische Maße
- Verhaltensmaße
In welchen Punkten unterscheiden sich Immersive Medien zu unidirektionalen Medien in der Komprimierung?
- Große Datenmengen
- Hoher Grad an Interaktivität
- Begrenzte Rechenpower
Was ist die Binokulare Disparität?
die Positions-Differenz eines Objekts in den retinalen Bildern des linken und rechten Auges
Was ist AI Upscaling?
- Statt Aufnahmen in hoher nativer Auflösung (z.B. 4K) abzuspeichern und zu verarbeiten, wird niedrigere Au$ösung (z.B. 1080p) gewählt
- AI Upscaling bezeichnet Prozess, um aus gering aufgelösten Frame wieder hoch aufgelöstes Frame zu berechnen (durch Machine Learning Modelle)
Was beschreibt die Rendering-Pipeline?
Beschreibung einer Abfolge von Schritten, die Grafiksystem zum Rendern durchführen muss
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik der Texturen
- Durch Zuweisung (engl. Mapping) von 2D- Bildern (Texturen) auf 3D-Modell kann komplexere Geometrie mit größeren Anzahl an Eckpunkten simuliert werden
- Mit Diffusen Maps kann Detailreichtum bzgl. Farben erzielt werden, während
Normal Maps korrekte Beleuchtung / Schattierung von Unebenheiten simulieren
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik der Sichtbarkeit
- Sichtbarkeitsermittlung (Culling) erlaubt solche Polygone und deren Eckpunkte zu verwerfen, die nicht im Sichtfeld liegen
- Abhängig von Strategie wird zwischen Frustum, Back Face und Occlusion Culling unterschieden
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Frustum Culling
- Beim Culling gegen Sichtvolumen (engl. Frustum Culling) können Polygone ausgeschlossen werden, die später nicht im Bild zu sehen sein werden
- Sichtvolumen ist definiert durch Pyramidenstumpf, d.h. auch Polygone vor der vorderen oder hinter der hinteren Schnittebene werden verworfen
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Back Face Culling
- Back Face Culling ist Algorithmus, der Polygone verwirft, deren Normale von Kamera weg zeigen
- bei geschlossenen Polygonnetzen sind diese Polygone auf Rückseite von Objekten und werden daher nicht gesehen
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Occlusion Culling
Occlusion Culling schließt solche Polygone von Weiterverarbeitung aus, die von anderen Objekten verdeckt werden
Wie lassen sich die Eckpunkte ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Level of Detail
- Details virtueller Objekte können mit steigender Distanz zum Beobachter zunehmend schlecht di%erenziert werden
- Um weniger Eckpunkte verarbeiten zu müssen, kann Komplexität (engl. Level of Detail) von entfernten Objekten verringert werden
Wie lassen sich die Anzahl an Pixel ohne hohen Qualitätsverlust reduzieren?
Beschreibe die Technik des Variable Rate Shading
- In Rendering Pipeline wird standardmäßig jedes Pixel des finalen Frames separat verarbeitet
- Variable Rate Shading (VRS) erlaubt Zusammenfassung von Pixelblöcken zur Verarbeitung
- Blockgröße wird abhängig von Region innerhalb des Frames gewählt
Beschreibe Foveated Rendering
Was ist die Foveated Reconstruction?
- nutzt Deep Learning
- Pixeldichte in fovealem Bereich bleibt unverändert während Dichte in Peripherie um bis zu 99% reduziert wird
Nenne den Nachteil von Foveated Reconstruction
noch sehr rechenaufwändig
