Drugi kolokvij Flashcards

1
Q
  1. Nastajanje digitalnog videa, načini analiziranja videa

a. Na koje sve načine može nastati digitalni video?
b. Objasniti dva načina analiziranja videa – analiziranje s proredom i progresivno analiziranje

A

a. Na koje sve načine može nastati digitalni video?
- U kameri
- U računalu
b. Objasniti dva načina analiziranja videa – analiziranje s proredom i progresivno analiziranje

  • Analiziranje s proredom (I interlaced)
    o slika frame se dijeli na dvije poluslike field od kojih jedna sadrži neparne, a druga parne linije
    o vertikalna frekvencija je dvostruko veća od frekvencije izmjene slika
  • Progresivno analiziranje (P progressive)
    o slika se analizira kao cjelina
    o vertikalna frekvencija je jednaka frekvenciji izmjene slika
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q
  1. Digitalizacija videa, formati poduzorkovanja
    a. Koji se tip signala koristi pri digitalizaciji videa i zašto?
    b. Što znači poduzorkovanje boje u odnosu na svjetlinu, zašto se radi i koji je razlog da se uopće može raditi (da to ima smisla)?
    c. Znati nacrtati primjere poduzorkovanja boje u odnosu na svjetlinu za različite formate poduzorkovanja (4:2:2, 4:2:0, 4:1:1, 4:1:0) po uzoru naprimjere dane na slajdu 19 (X i O)
    d. Znati izračunati uštedu u broju bita kod pojedinog formata poduzorkovanja
A

a. Koji se tip signala koristi pri digitalizaciji videa i zašto?
- Koristi se YUV signal
- Iskorištava se manja osjetljivost ljudskog vizualnog sustava na promjenu boje u
odnosu na promjenu svjetline

b. Što znači poduzorkovanje boje u odnosu na svjetlinu, zašto se radi i koji je razlog da se uopće može raditi (da to ima smisla)?
- jako velika količina podataka, pa čak i za moderne diskove od nekoliko terabajta - ljudsko oko osjetljivije je na luminantnu komponentu nego na krominantnu komponentu

  • poduzorkovanjem krominantnog signala veću razlučivost pridodajemo luminantnoj nego krominantnoj komponenti
  • na optimalnim udaljenostima gledanja ne možemo opaziti smanjenu kvalitetu slike nastalu uzorkovanjem krominantne komponente na nižoj razini

c. Znati nacrtati primjere poduzorkovanja boje u odnosu na svjetlinu za
različite formate poduzorkovanja (4:2:2, 4:2:0, 4:1:1, 4:1:0) po uzoru na
primjere dane na slajdu 19 (X i O)

SLIKA

d. Znati izračunati uštedu u broju bita kod pojedinog formata poduzorkovanja

SLIKA

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q
  1. Kompresija videa – modovi obrade

a. Nabrojati 4 moda obrade pri kompresiji videa i za svaki od njih objasniti što se odvija u kojem modu

A

a. Nabrojati 4 moda obrade pri kompresiji videa i za svaki od njih objasniti što se odvija u kojem modu

  • Pred obrada
    o reduciranje 10 bitnog u 8 bitni zapis
    o prebacivanje u odgovarajuću shemu poduzorkovanja
    o redukcija šuma , čišćenje slike
  • Prostorna kompresija – unutarokvirna
    o nastaju I okviri
    o iskorištava se zalihost u horizontalnoj i vertikalnoj dimenziji slike , tj. sličnost elemenata slike
    o kompresija unutar jednog okvira , neovisno o ostalim okvirima
    o slična JPEGu
  • Vremenska kompresija – međuokvirna
    o zalihost se pojavljuje u vremenu iskorištava se sličnost u susjednim okvirima
    o nastaju P (predviđeni) i B (dvosmjerno predviđeni) okviri
  • Kontrola protoka
    o kompresija može biti:
     s konstantnom brzinom protoka podataka
     u tom je slučaju kvaliteta videa veća za manje zahtjevan sadržaj

 s konstantnom kvalitetom videa
 u tom je slučaju brzina protoka podataka manja za manje zahtjevan sadržaj – promjenjiva brzina protoka

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q
  1. Kompresija videa – unutarokvirno kodiranje (nastajanje I okvira)
    a. Kako nastaju I okviri – shema za unutarokvirno kodiranje i objašnjenje svakog bloka sheme s maksimalno jednom rečenicom po bloku
A

a. Kako nastaju I okviri – shema za unutarokvirno kodiranje i objašnjenje svakog bloka sheme s maksimalno jednom rečenicom po bloku

SLIKA

  • 1) Podjela okvira u 8x8 blokove
  • 2) Primjena DCT prebacivanje iz prostorne domene u domenu prostorne frekvencije
  • 3) Kvantizacija
    o unosi gubitke
    o kvantizacijski korak različit za različite prostorne frekvencije
    o koristi se kvantizacija koja odgovara osjetljivosti ljudskog vizualnog sustava
  • 4) Cik cak slaganje koeficijenata
  • 5) Run length kodiranje
  • 6) Variable length kodiranje – entropijsko kodiranje
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q
  1. Kompresija videa – međuokvirno kodiranje (nastajanje P i B okvira)
    a. Kako nastaju P okviri – shema za međuokvirno kodiranje i objašnjenje zašto se ono uopće može raditi?
A

a. Kako nastaju P okviri – shema za međuokvirno kodiranje i objašnjenje zašto se ono uopće može raditi?

  • P okviri
    o predviđaju se iz prethodnog I ili P okvira
    o iskorištavaju vremensku zalihost
     susjedni okviri su slični, mali broj podataka je nov
     pokret se istražuje na makroblokovima dimenzije NxM elemenata slike tehnikama korelacije – proračnunava se vektor pokreta, to je smjer translacije najsličnijeg makrobloka
  • B okviri
    o kao P okviri, ali se predviđaju iz prethodnog i sljedećeg I ili P okvira
    o dobra predikcija dijelova okvira koji ne postoje još u prethodnom okviru
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q
  1. MPEG-2 kompresija videa – profili i razine, faktori koji utječu na kvalitetu videa
    a. Što opisuje profil, a što razina?
    b. Čemu služe profili i razine?
    c. Nabrojati koji profili i koje razine postoje kod MPEG-2 i znati objasniti alate koje koriste dvije najvažnije kombinacije Profil-Razina (Main-Main i MainHigh) i njihove značajke
    d. Nabrojati faktore koji utječu na kvalitetu videa i objasniti kako pojedini od njih utječe na kvalitetu kodiranog videa
A

a. Što opisuje profil, a što razina?

  • Profil – opisuje funkcionalnosti tj. skupine značajki bitne za pojedine aplikacije
  • Razina - opisuje zahtjeve za parametrima (npr. rezolucija, brzina prijenosa, …)

b. Čemu služe profili i razine?
- stvoreni kako bi se omogućila fleksibilnost primjene norme za različite aplikacije
c. Nabrojati koji profili i koje razine postoje kod MPEG-2 i znati objasniti alate koje koriste dvije najvažnije kombinacije Profil-Razina (Main-Main i MainHigh) i njihove značajke

  • Profili
    o osnovni, glavni, profil sa slojevitošću u odnosu na omjer signal/šum (SNR),
    profil s prostornom slojevitošću (Spatial), visoki
  • Razine
    o niska, glavna, visoka 1440, visoka
  • Main – main
    o 4:2:0, 720 x 576, 15 Mb/s- I,P,B, 30 okvira/s
  • Main – high
    o 4:2:0, 1920 x 1152, 80 Mb/s- I,P,B, 60 okvira/s

d. Nabrojati faktore koji utječu na kvalitetu videa i objasniti kako pojedini od njih utječe na kvalitetu kodiranog videa

  • Kvaliteta ulaznog signala
    o Amplituda i DC razina
     nelinearnosti uzrokuju rezanje naponskih nivoa ili neefikasno korištenje 8 bitne 256 razinske kvantizacije
    o Frekvencijski pojas
     preuzak reže visoke frekvencije sliku je lakše kodirati ali se gubi na kvaliteti
    o Šum , jitter
     otežavaju digitalizaciju
  • Kompleksnost slike o puno detalja i brzi pokret predstavljaju veće zahtjeve na kompresiju
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q
  1. MPEG-4 kompresija videa – osnovne postavke i struktura scene (VOP, VO)
    a. Čemu je namijenjena MPEG-4 norma za razliku od MPEG-2 norme?
    b. Koje su osnovne postavke MPEG-4 norme?
    c. Objasniti strukturu scene kod MPEG-4 norme za kompresiju videa
    d. Objasniti koncept VOP-a, te znati objasniti što su VOP, VO i VOL
A

a. Čemu je namijenjena MPEG-4 norma za razliku od MPEG-2 norme?

  • interaktivnu multimediju (web)
  • interaktivne grafičke aplikacije
  • digitalnu televiziju

b. Koje su osnovne postavke MPEG-4 norme?

  • Univerzalne mogućnosti i robusnost u okolini osjetljivoj na pogreške
  • Velika interaktivna funkcionalnost
  • Kodiranje stvarnih i sintetiziranih podataka
  • Učinkovita kompresija

c. Objasniti strukturu scene kod MPEG-4 norme za kompresiju videa

  • MPEG4 se temelji na kodiranju objekata
  • MPEG 4 definira:
    o jedinice za zvučni, vizualni ili audiovizualni sadžaj, nazvane ‘ media objects ‘ (mogu biti prirodni ili sintetizirani)
    o opis kompozicije tih objekata radi stvaranja složenog objekta koji definira audiovizualnu scenu o multipleksiranje i sinkronizaciju podataka vezanih uz ‘media objects ‘, kako bi se mogli prenositi mrežom
    o interakciju korisnika s audiovizualnom scenom

d. Objasniti koncept VOP-a, te znati objasniti što su VOP, VO i VOL

  • VOP (Video Object Plane)
    o Svaki se okvir ulazne sekvence segmentira( u nekoliko proizvoljno oblikovanih područja odnosno VOP-ova
     cijeli okvir (pravokutni)
     proizvoljnog oblika
    o Svako područje pokriva jedan dio scene i na taj način opisuje objekt unutar jednog okvira
  • VO (Video Object)
    o Uzastopni VOP-ovi koji pripadaju istom objektu
    o Svi VO i imaju svoja prostorna i vremenska obilježja tj sadrže lokalne koordinate koje utvrđuju fiksni položaj danog objekta, a smješteni su unutar scene transformacijama lokalnog koordinatnog sustava u opći, scenski koordinatni sustav
  • VOL (Video Object Layout)
    o Sve informacije o VOP ovima koji pripadaju jednom VO kodiraju se unutar zasebnog VOL-a
    o Informacije nužne za identifikaciju svakog VOL-a, te kako se VOL-ovi sastavljaju i rekonstruiraju na prijemnoj strani uključene su u sloj toka bita bitstream layer
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q
  1. MPEG-4 kompresija videa – novi alati za kodiranje
    a. Objasniti na čemu se zasniva kodiranje videa u MPEG-4
    b. Objasniti 6 novih naprednih alata čije korištenje omogućava poboljšanje kvalitete komprimiranog videa
A

a. Objasniti na čemu se zasniva kodiranje videa u MPEG-4
- Temelji se na DCT-u bloka te predikciji pokreta (vektori pokreta )
b. Objasniti 6 novih naprednih alata čije korištenje omogućava poboljšanje kvalitete komprimiranog videa

  • 1) 4 vektora pokreta po makrobloku
    o makroblokovi 16x16 ili 8x8 elemenata okvira (bira koder za svaki makroblok)
     bolja predikcija uz rubove pokretnog objekta i kod brzih pokreta
     1 ili 4 vektora pokreta po makrobloku
    SLIKA
  • 2) Neograničeni vektori pokreta (MV)
    o koristi se kada je područje “matching” makrobloka (najboljeg odgovarajućeg) dijelom izvan granica referentnog okvira
    SLIKA
  • 3) Intra prediction
    o DC koeficijenti 8x8 blokova predviđaju se iz susjednih prethodno kodiranih blokova
    o Opcionalna je predikcija i prvog reda i prvog stupca matrice AC koeficijenata DCT-a
    SLIKA
  • 4) Globalna kompenzacija pokreta o G lobalna kompenzacija pokreta zasnovana na “sprite” pozadini
     zasnovana na statičkoj slici (eng. sprite ), koja opisuje pozadinu (panoramska slika) za koju se u sljedećim okvirima šalje samo 8 globalnih parametara koji opisuju pokret kamere
    SLIKA
  • 5) Kompenzacija pokreta na razini ¼ elementa slike
  • 6) H.263 MPEG 2 kvantizator
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q
  1. H.264 norma za kompresija videa
    a. Za koje je aplikacije namijenjena H.264 norma s obzirom na svoje karaketristike?
    b. Objasniti 4 nova napreda alata u odnosu na prethodne norme, čije korištenje omogućava poboljšanje kvalitete H.264 komprimiranog videa
A

a. Za koje je aplikacije namijenjena H.264 norma s obzirom na svoje karaketristike?
- videotelefonija, videokonferencije, mobilne UMTS i GSM, Internet
b. Objasniti 4 nova napreda alata u odnosu na prethodne norme, čije korištenje omogućava poboljšanje kvalitete H.264 komprimiranog videa

  • 1)
    predviđanje za unutarokvirno kodiranje
    o Unutarokvirna predikcija koristi se za kodiranje I slika (okvira)
    o Za predikciju se koriste blokovi 4x4 i 16x16 elemenata slike za svjetlinu, i 8x8 za kromatske komponente o za 4x4 blok postoji 9 modova predikcije
    – koeficijenti unutar bloka se
    računaju iz već dekodiranih okolnih elemenata
    o Razlika između predviđenih i stvarnih vrijednosti se kodira – prvo se koristi cjelobrojna transformacija, a zatim entropijsko kodiranje
  • 2)
    filtri za uklanjanje efekta bloka u petlji za predviđanje i proračun vektora pokreta
    o Podjela u blokove potrebna za efikasnu primjenu algoritama – uzrokuje pojavu vidljive pogreške oko rubova blokova
    o U dekoderu je moguće napraviti post-procesiranje filtriranjem ovih efekata
    o Postavljanjem filtara za smanjenje efekta bloka u koder, popravlja se predikcija vektora pokreta i povećava se kvaliteta
    o Potencijalne negativne posljedice – nejasna i zamagljena slika
  • 3)
    proračun vektora pokreta u odnosu na više referentnih okvira
    o korištenje više referentnih slika omogućava izbor referentne slike kada je neka od njih oštećena
  • 4)
    ne koristi DCT nego cjelobrojnu transformaciju
    o Koristi cjelobrojnu transformaciju (ne DCT, ali zasnovanu na DCT) primijenjenu na 4x4 blokove
    o Koristi se i za I iza P, odnosno B okvire za podatke razlike nakon oduzimanja predviđenog od stvarnog okvira
    o Cjelobrojna transformacija jednostavnija je za proračun
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q
  1. Govor - spektar, fizikalni proces nastajanja, model vokalnog trakta
    a. Koje frekvencije obuhvaća ljudski govor? Koje su frekvencije najbitnije u ljudskom govoru za prijenos i pohranu?
    b. Koji je čujni spektar ljudskog uha?
    c. Objasnite ukratko fizikalni proces nastajanja govora
    d. Kako izgleda pojednostavljeni model vokalnog trakta? Objasnite ga.
    e. U kojem se rasponu kreću osnovne frekvencije titranja glasnica govornika?
A

a. Koje frekvencije obuhvaća ljudski govor? Koje su frekvencije najbitnije u ljudskom govoru za prijenos i pohranu?

  • obuhvaća frekvencije od 50 Hz do 10 000 Hz
  • najznačajniji dio od 300 Hz do 3400 Hz

b. Koji je čujni spektar ljudskog uha?
- o d 20 Hz do 20 kHz

c. Objasnite ukratko fizikalni proces nastajanja govora

  • Govor nastaje zbog vibracija koje proizvode zvučne valove
  • Uzrokovan je vibracijama u ljudskom vokalnom traktu
  • Izvor zvučnih valova kod govornog signala -> pluća
  • Izdisanje zraka iz pluća -> zračna struja prolazi kroz dušnik i izaziva vibracije glasnica:
    o Glasnice nisu potpuno opuštene -> dolazi do periodičkog titranja i formira se periodičko strujanja zraka koji prolazi kroz ostatak vokalnog trakta
    o Glasnice potpuno opuštene -> ne dolazi do titranja i zrak iz pluća neometano prolazi kroz vokalni trakt
  • Osim karakteristika pobudnog signala vokalnog trakta, utjecaj na formiranje glasa imaju i položaji jezika, usana, čeljusti i resice

d. Kako izgleda pojednostavljeni model vokalnog trakta? Objasnite ga.

SLIKA
- Za zvučne glasove pod utjecajem pritiska zraka iz pluća glasnice trepere (titraju) i proizvode varijacije zračnog tlaka s0(t), koji ima oblik impulsa (glotalni puls) osnovne frekvencije f0.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q
  1. Nastajanje i podjela glasova
    a. Što je glas i kako nastaje?
    b. Kako dijelimo glasove prema stupnju otvorenosti glasnica i što karakterizira pojedinu skupinu?

c. Kako dijelimo glasove prema zvučnosti i što karakterizira pojedinu skupinu?
Kako izgleda spektar pojedine skupine glasova iz ove podjele (skicirati ga)?

A

a. Što je glas i kako nastaje?
- Glas je najmanji odsječak izgovorene riječi
b. Kako dijelimo glasove prema stupnju otvorenosti glasnica i što karakterizira pojedinu skupinu?

  • Izgovor samoglasnika -> glasnice potpuno otvorene -> zračna struja neometano prolazi od pluća do usana
  • Izgovor suglasnika -> govorni organi su potpuno ili djelomično zatvoreni -> zračna struja ne prolazi neometano do usta

c. Kako dijelimo glasove prema zvučnosti i što karakterizira pojedinu skupinu?

Kako izgleda spektar pojedine skupine glasova iz ove podjele (skicirati ga)?

  • Zvučni -> pri prolasku zraka iz pluća kroz govorne organe – glasnice titraju
  • Bezvučni -> pri prolasku zraka iz pluća kroz govorne organe – glasnice ne titraju

DVA GRAFA

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q
  1. Digitalizacija govora, teorija diferencijalne kvantizacije
    a. Nacrtajte osnovnu shemu digitalizacije valnog oblika govora i objasnite postupak digitalizacije govora (dvije faze)
    b. Koja je osnovna ideja digitalizacije zasnovane na reprezentaciji valnog oblika govora?
    c. Kakav se tip kvantizacije koristi kod digitalizacije govora i zašto?
    d. Što predstavlja postupak diferencijalne kvantizacije i na kojoj je ideji zasnovan? Koje postupke zasnovane na diferencijalnoj kvantizaciji poznajete?
A

a. Nacrtajte osnovnu shemu digitalizacije valnog oblika govora i objasnite postupak digitalizacije govora (dvije faze)
SLIKA

  • Uzorkovanje
    o za telefonski signal koristi se spektar od 300 Hz do 3. 4 kHz
    o 8 kHz uzorkovanje (Nyquistov kriterij)
  • Kvantizacija

b. Koja je osnovna ideja digitalizacije zasnovane na reprezentaciji valnog oblika govora?

  • U mikrofonu se tlak zraka na membrani pretvara u električki signal
  • Analogno digitalnom pretvorbom kontinuirani električki signal se pretvara u niz brojeva

c. Kakav se tip kvantizacije koristi kod digitalizacije govora i zašto?
- Diferencijalna kvantizacija ??
d. Što predstavlja postupak diferencijalne kvantizacije i na kojoj je ideji zasnovan? Koje postupke zasnovane na diferencijalnoj kvantizaciji poznajete?

  • Postoji znatna korelacija između uzastopnih uzoraka govora i ona je znatna čak i za uzorke koji su udaljeni nekoliko intervala uzorkovanja
  • Signal se ne mijenja znatno od uzorka do uzorka
    o razlika između uzastopnih uzoraka trebala bi imati manju varijancu nego što je varijanca samog signala
    o motivacija za općenitu shemu diferencijalne kvantizacije
  • DPCM i ADPCM
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q
  1. Linearno prediktivno kodiranje govora
    a. Koje su osnovne karakteristike linearnog prediktivnog kodiranja govora?
    b. Koje su ideje, a koji ciljevi LPC analize govora? Objasnite
    d. Što se šalje dekoderu pri kodiranju pojedinih uzoraka govornog signala LPC koderom?
A

a. Koje su osnovne karakteristike linearnog prediktivnog kodiranja govora?

  • koristi matematički model govornog trakta
  • umjesto uzoraka šalje parametre modela
  • bit rate 2.4 kb/s
  • mehanički govor

b. Koje su ideje, a koji ciljevi LPC analize govora? Objasnite

Ideje:
o Trenutni uzorak govora može se predvidjeti pomoću linearne kombinacije određenog broja prošlih uzoraka
o Ne pridonose svi prošli uzorci jednako iznosu trenutnog uzorka -> prije zbrajanja moraju se pomnožiti odgovarajućim težinskim koeficijentom
o Ti težinski koeficijenti su parametri linearnog prediktora (ak)

  • Cilj:
    o odrediti parametre prediktora
     Govorni signal je promjenjiv
     parametri prediktora ne mogu biti konstantni u duljem vremenskom intervalu
     računaju se nad okvirima analize signala konačnog trajanja (frame) na kojima se mogu smatrati stalnima (tipično 20-30ms)

d. Što se šalje dekoderu pri kodiranju pojedinih uzoraka govornog signala LPC koderom?
- Šalju se parametri modela

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q
  1. Dinamički raspon sluha, audio signal – spektar, kodiranje
    a. Na koji je način određen dinamički raspon ljudskog sluha i koliko on iznosi?
    b. Na koji način ljudsko uho doživljava povećanje glasnoće i objasnite što to znači? Na koji se to način iskorištava pri digitalizaciji audio signala?
    c. Što karakterizira linearnu, a što nelinearnu kvantizaciju? Što se postiže nelinearnom kvantizacijom u odnosu na linearnu pri digitalizaciji audia?
    d. Kako izgleda spektar audio signala?
    e. Treba li pohranjivati sve informacije koje postoje u audio signalu prilikom digitalizacije (kodiranja)? Objasnite odgovor.
A

a. Na koji je način određen dinamički raspon ljudskog sluha i koliko on iznosi?

  • Određen je
    o Donjom granicom čujnosti
    o Gornjom granicom bola (oštećenja) 12dB
  • Iznosi 96 dB

b. Na koji način ljudsko uho doživljava povećanje glasnoće i objasnite što to znači? Na koji se to način iskorištava pri digitalizaciji audio signala?

  • Povećanje glasnoće doživljavamo logaritamski ,ne linearno – koristimo dB
  • Nelinearna kvantizacija je logaritamska ??

c. Što karakterizira linearnu, a što nelinearnu kvantizaciju? Što se postiže nelinearnom kvantizacijom u odnosu na linearnu pri digitalizaciji audia?

  • Linearna kvantizacija
    o Jednaki korak kvantizacije za sve amplitude
    o Jednaki raspon pogreške kvantizacije i šuma kvantizacije na svim razinama amplitude signala
    o Manji odnos S/N na malim amplitudama
  • Nelinearna kvantizacija
    o Logaritamska kvantizacija
    o Mali intenziteti signala zapisuju se većom rezolucijom nego veliki intenziteti

d. Kako izgleda spektar audio signala?

GRAF

e. Treba li pohranjivati sve informacije koje postoje u audio signalu prilikom digitalizacije (kodiranja)? Objasnite odgovor.
- Ne treba pohranjivati sve informacije koje postoje u audio signalu jer postoje informacije koje ljudsko uho ne može prepoznati

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q
  1. Psihoakustički model ljudskog čujnog sustava – uho, maskiranje
    a. Objasnite kako se približno može modelirati ljudski čujni sustav i objasnite glavne karakteristike tog modela (tj. onoga što je vezano uz njega)
    b. Objasnite tri efekta maskiranja na način da za svaki od njih odgovorite na sljedeća pitanja:

i. Kako se provodi eksperiment za pojedini efekt maskiranja? Opišite postupak za svaki od njih.
ii. Skicirati rezultate eksperimenta za pojedini efekt maskiranja.

c. Koje su osnovne ideje za kodiranja audia (a zasnovane na rezultatima svakog od prethodno opisanih triju eksperimenata)? Skicirajte načelnu
blok–shemu

A

a. Objasnite kako se približno može modelirati ljudski čujni sustav i objasnite glavne karakteristike tog modela (tj. onoga što je vezano uz njega)

  • Čujni sustav može biti približno modeliran kao filtarski slog koji se sastoji od 25 pojasno-propusnih filtara koji se preklapaju, od 0 do 20kHz
  • Širina kritičnog pojasa je oko 100 Hz za signale ispod 500 Hz, i povećava se linearno
    nakon 500 Hz do 5kHz

b. Objasnite tri efekta maskiranja na način da za svaki od njih odgovorite na sljedeća pitanja:
i. Kako se provodi eksperiment za pojedini efekt maskiranja? Opišite postupak za svaki od njih.

  • Granica čujnosti u tišini
    o Osoba se nalazi u “tihoj sobi”
    o Pušta se ton s frekvencijom 1 kHzi povećava mu se razina dok ne postane čujan
    o Mijenja se frekvencija i crta se graf
    o Granice čujnosti su frekvencijski ovisne
    o Ljudsko uho je najosjetljivije na frekvencije 2-4 kHz
  • Frekvencijsko maskiranje
    o Pustiti ton na 1 kHz(maskirajući ton) s fiksnom razinom (60 dB)
    o Pustiti testni ton(npr. na 1.1 kHz) i povećavati mu razinu dok se ne počnu razlikovati
    o Mijenjati frekvenciju testnog tona i crtati granicu kada zvukovi postaju različiti za slušatelja
    o Granica čujnosti za testni ton je puno veća nego granica u tišini, blizu frekvencije maskiranja
  • Vremensko maskiranje
    o Puštamo 1 kHz maskirajući ton na 60 dB i uz njega testni ton na 1.1. kHz na 40 dB -> testni ton se ne čuje (maskiran je frekvencijski)
    o Prekine se maskirajući toni mjeri se najkraće vrijeme nakon kojeg se čuje testni ton (npr. 5 ms)
    o Ponavlja se s različitim razinama testnog tona
    o Što je slabiji testni ton, to treba duže da ga se čuje nakon što stane maskirajući ton

ii. Skicirati rezultate eksperimenta za pojedini efekt maskiranja.
GRAFOVI

c. Koje su osnovne ideje za kodiranja audia (a zasnovane na rezultatima svakog od prethodno opisanih triju eksperimenata)? Skicirajte načelnu
blok–shemu

  • Rastaviti signal u odvojene frekvencijske pojaseve koristeći niz filtara (filtarski slog)
  • Analizirati energiju signala u različitim pojasevima i odrediti ukupnu granicu maskiranja svakog pojasa zbog signala u drugom pojasu/vremenu
  • Kvantizirati uzorke u različitim pojasevima s točnošću proporcionalnom razini maskiranja

BLOK SHEMA

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q
  1. CD i DVD audio kodiranje

a. Koje su osnovne karakteristike CD audio standarda za kompresiju audia?
Objasnite najbitnije karakteristike – što konkretno znače (nije dovoljno samo nabrojati ih). ??

b. Koje su osnovne karakteristike DVD audio standarda za kompresiju audia?
Objasnite najbitnije karakteristike – što konkretno znače (nije dovoljno samo nabrojati ih). ??

i. Skicirajte blok-shemu MLP kodera na kojem je zasnovan DVD standard kompresije audia i objasnite način rada (korake) tog kodera prema nacrtanoj shemi?

A

a. Koje su osnovne karakteristike CD audio standarda za kompresiju audia?
Objasnite najbitnije karakteristike – što konkretno znače (nije dovoljno samo nabrojati ih). ??

  • Linearno PCM kodiranje sa 16 bita
  • dinamičko područje 96 dB
    o izabrano zbog ljudskog dinamičkog raspona sluha od 96dB ??
  • frekvencijski odziv 0 do20 kHz
  • uzorkovanje 44.1 kHz
    o izabrano zbog kompatibilnosti s TV sustavima
  • stereofonija - dva kanala
  • 1.411 Mb/s data rate
  • Reed-Solomon zaštitni kod
  • trajanje 74 min

b. Koje su osnovne karakteristike DVD audio standarda za kompresiju audia?
Objasnite najbitnije karakteristike – što konkretno znače (nije dovoljno samo nabrojati ih). ??

  • format za pohranu visokokvalitetnog audio sadržaja
  • nije namijenjen za pohranu videa
  • mnoštvo mogućih konfiguracija pri pohrani audio sadržaja
  • 16-, 20-, 24-bitno LPCM kodiranje
  • uzorkovanje sa 44.1, 48, 88.2, 96, 176.4 ili 192 kHz
  • 1 do 6 kanala
  • Zapis:
    o od 86 min do 25h uz različito uzorkovanje i broj kanala

i. Skicirajte blok-shemu MLP kodera na kojem je zasnovan DVD standard kompresije audia i objasnite način rada (korake) tog kodera prema nacrtanoj shemi?

BLOK SHEMA
- 1) Dolazni kanali mogu biti preraspoređeni kako bi se optimiziralo korištenje podtokova
- 2) Svaki kanal se pomiče kako bi se povratio nekorišteni kapacitet
- 3) Tehnika s matricama bez gubitaka optimizira korištenje kanala smanjivanjem
među-kanalne korelacije
- 4) Signal u svakom kanalu je de-koreliran koristeći odvojene prediktore za svaki kanal
- 5) Dekoreliraniaudio je dalje optimiziran koristeći entropijsko kodiranje
- 6) Svaki pod-tok je bufferirankoristeći FIFO memorijski sustav kako bi se izgladila
brzina kodiranih podataka
- 7) Višestruki pod-tokovi podataka se isprepliću
- 8) Tok je paketiziran uz fiksnu ili promjenjivu brzinu prijenosa

17
Q
  1. MPEG-1 audio kodiranje (layer 1, 2, 3)
    a. Koje su osnovne karakteristike MPEG-1 standarda za kompresiju audia?
    b. Nacrtajte načelnu shemu percepcijskog kodera i objasnite redom korake kodiranja kod MPEG-1 standarda za kompresiju audia. Prikažite jedna proizvoljan načelni primjer frekvencijskog maskiranja.
    c. Objasnite način rada MPEG-1 layer 3 ? što sve koristi od alata za kodiranje audia i na koji način?
A

a. Koje su osnovne karakteristike MPEG-1 standarda za kompresiju audia?

  • tri algoritma
  • brzina 1.5 Mb/s za video + audio, od toga 0.3 Mb/s za audio
  • podržava 4 moda rada
    o mono
    o dual-mono
    o stereo
    o udruženi stereo
  • radi na 32 do 448 kb/s po kanalu
  • uzorkovanje 32, 44.1, 48 kHz
  • stupanj kompresije od 2.7 do 24
  • radi s gubitkom, ali ne osjetilnim

b. Nacrtajte načelnu shemu percepcijskog kodera i objasnite redom korake kodiranja kod MPEG-1 standarda za kompresiju audia. Prikažite jedna proizvoljan načelni primjer frekvencijskog maskiranja.

BLOK SHEMA

  • Pomoću konvolucijskih filtara audio signal se dijeli u 32 frekvencijska pod pojasa
  • Određuje se količina maskiranja za svaki pojas
  • Ako je energija u pojasu ispod granice maskiranja, ne kodira se taj uzorak
  • U suprotnom, određuje se broj bita potreban za predstavljanje koeficijenta tog pojasa tako da šum unesen kvantizacijom bude ispod praga maskiranja
  • Formiranje toka bita

PRIMJER

c. Objasnite način rada MPEG-1 layer 3 ? što sve koristi od alata za kodiranje audia i na koji način?

  • Koristi filtre nejednake širine pojasa koji bolje pokrivaju kritične pojaseve
  • Kako bi postigao bolju frekvencijsku rezoluciju, radi dodatnu podjelu prvotna 32 pojasa
  • Podjela u 32 glavna pojasa a zatim primjenom MDCT svaki pojas dijeli u:
    o 6 podpojaseva
    o 18 podpojaseva
  • Uključuje vremensko maskiranje
18
Q
  1. MPEG-2 audio kodiranje
    a. Skicirajte i objasnite višekanalnu konfiguraciju zvučnika u MPEG-2 standardu za kodiranje audia.
    b. Navedite koja dva višekanalna standarda za kodiranje audia definira MPEG2 i objasnite zahtjeve kojima moraju udovoljavati.
    c. Kako se postiže kompatibilnost unazad kod MPEG-2 i što to uopće znači? ??
    d. Koje su osnovne karakteristike MPEG-2 audio kodiranja?
A

a. Skicirajte i objasnite višekanalnu konfiguraciju zvučnika u MPEG-2 standardu za kodiranje audia.

  • više-kanalni sustav za reprezentaciju audia:
    o Uvjerljiva reprodukcija, realniji
    doživljaj zvuka
    o Za audio i audiovizualne sustave

SKICA

b. Navedite koja dva višekanalna standarda za kodiranje audia definira MPEG2 i objasnite zahtjeve kojima moraju udovoljavati.

  • forward-compatible
    o MPEG-2 više kanalni dekoder može ispravno dekodirati MPEG-1 kodirane
    signale
  • backward-compatible
    o Postojeći MPEG-1 stereo dekoderi, koji rade samo s dva kanala, sposobni su reproducirati smisleni osnovni 2/0 stereo signal iz MPEG-2 više kanalnog toka bita

c. Kako se postiže kompatibilnost unazad kod MPEG-2 i što to uopće znači? ??

Skice

d. Koje su osnovne karakteristike MPEG-2 audio kodiranja?

  • Uzorkovanje 32 kHz, 44.1 kHz, 48 kHz, ali i 16 kHz, 22.05 kHz 24 kHz
  • kompatibilni međusobno prema dolje, kompatibilni s MPEG –1
  • više kanalno kodiranje
    o kompatibilno s prethodnim koderima
19
Q
  1. Animacija – definicija, vrste, princip rada, tehnike, primjena web animacije
    a. Što je animacija, kako se definira?
    b. Navedite vrste animacija i njihove osnovne karakteristike
    c. Navedite osnovne tehnike animacije i objasnite ih.
    d. Objasnite proces kreiranja animacije po koracima.
    e. Primjena web animacije – navedite osnovne karakteristike i preporuke prilikom korištenja animacije na webu
A

a. Što je animacija, kako se definira?

  • Brzo prikazivanje kadrova
  • Niz crteža objekta koji se razlikuju po nekim detaljima

b. Navedite vrste animacija i njihove osnovne karakteristike

  • 2-D animacija
    o Najčešće korištena vrsta animacije općenito na računalima
  • 3-D animacija
    o Osim visine i širine, objektima dodaje dubinu
    o Zahtjevnija za izradu i korištenje
    o Crta se žičani model objekata te se dodaje odgovarajuća tekstura, zatim se objekti smještaju na neku pozadinu
    o Posebni programi za izradu (AutoCad, Maya, Blender, MagicVoxel)

c. Navedite osnovne tehnike animacije i objasnite ih.

  • Animacija po stazi
    o Objekt se pomiče po određenoj putanji-ne mijenja se njegov oblik nego samo položaj
  • Animacija s različitim kadrovima
    o Crta se serija kadrova animacije
    o Započinje se i završava s ključnim
    kadrovima(keyframes) –prvi i zadnji kadar
    akcije
    o Međukadrovi se crtaju procesom koji se naziva tweening
     Postepeno se prelazi iz prvog u zadnji kadar crtanjem odgovarajućeg broja međukadrova po određenoj putanji
  • Animacija preobražavanjem (morphing)
    o Jedna slika se pretvara u drugu
    o Računalni program generira međuslike
  • Stop motion
    o Objekti se fotografiraju u više uzastopnih položaja
    o Kamera mora biti fiksna

d. Objasnite proces kreiranja animacije po koracima.

  • kreirati kadrove
  • dodati zvuk (opcija)
  • snimiti animaciju u odgovarajućem formatu
  • provjeriti kako se animacija izvodi u nekom od programa za reprodukciju
  • uključiti animaciju u multimedijsku aplikaciju

e. Primjena web animacije – navedite osnovne karakteristike i preporuke prilikom korištenja animacije na webu

  • Animirani GIF-ovi
    o Prikazuje ih svaki Web preglednik
    o Jedna datoteka sadrži više odvojenih slika
    o Može se odrediti: koliko puta se niz slika ponavlja, koliko dugo je svaki kadar vidljiv, način na koji jedan kadar smjenjuje drugi, da li je pozadina slike
    prozirna
    o Nema mogućnosti dodavanja zvuka
    o Različiti alati za kreiranje
  • Preporuke
    o Izbjegavati više od jedne animacije na stranici
    o Koristiti animaciju da se prenese neka poruka ili nešto naglasi
    o Izbjegavati animacije na stranicama s puno teksta jer ometaju koncentraciju
    pri čitanju
    o Voditi računa o veličini datoteke s animacijom
    o Beskonačno ponavljanje animacije u petlji koristiti ako je zaista neophodno
    o Isprobavati različiti tempo izvođenja
20
Q
  1. 3D animacija – koraci

a. Nabrojite korake 3D animacije i objasnite ih.

A
  • 3D modeliranje
    o proces izrade konture predmeta, odnosno formiranje osnovnog izgleda predmeta
    o Od konture predmeta generira se trodimenzionalni objekt, kojemu se, zbog povećanja stupnja realističnosti, dodaju teksture, odsjaji, sjene itd.
  • Animiranje
    o Animiranje kreiranog 3D objekta vrši se zadavanjem polazne točke i odredišne točke, zadavanjem putanje između ovih dviju točaka, kao i određivanjem vrste i dinamike kretanja
    o Prema ovim elementima, računalo kreira sekvence koje prikazane u nizu
    stvaraju iluziju kretanja
  • Rendering
    o zadnji korak 3D animacije
    o karakterističan po velikim proračunima koji mogu trajati više minuta, sati, ali i više dana
    o to je proces formiranja sinkroniziranog kretanja prema zadanim elementima tj. proces formiranja kontinuirane animacije sa svim njenim kvalitativnim
    elementima (boje, teksture, sjene i dr.).
21
Q
  1. Hipertekst, hipermedija – primjeri
    a. Koja je razlika multimedije i hipemedije, tj. kada hipermedija postaje multimedija?

b. Hipertekst
i. Što je to
i. Što čitatelj ima (koje benefite) od hipertektsta, a što autori takvih sadržaja?

c. Hipermedija
i. Što je to i koja je razlika u odnosu na hipertekst?
ii. Od čega se sastoji hipermedijski sustav?
iii. Koji su mogući modeli pri izgradnji hipermedijske interaktivne aplikacije? Objasnite ih ukratko.

A

a. Koja je razlika multimedije i hipemedije, tj. kada hipermedija postaje multimedija?
- Interaktivna multimedija – korisnicima je omogućena kontrola nad aplikacijom, ako je dodana struktura hiperveza -> hipermedija

b. Hipertekst
i. Što je to

  • Autor originalnog teksta jednostavno dodaje reference prema tekstovima drugih autora koji se nalaze na drugim računalima u mreži
  • Svaki od autora može mijenjati, dopunjavati, poboljšavati (i brisati !) svoj tekst

i. Što čitatelj ima (koje benefite) od hipertektsta, a što autori takvih sadržaja?

  • Dobiva se globalni hipertekstualni sustav u kojem je gotovo nemoguće ostati bez relevantne informacije
  • Autor originalnog teksta ne mora ulaziti u detalje koje su neki drugi autori prije njega (bolje) objasnili

c. Hipermedija
i. Što je to i koja je razlika u odnosu na hipertekst?

  • Hipermedija (hypermedia) -naglašava netekstualne komponente dodane hipertekstu: animacija, zvuk i video
  • hipermedija= hipertekst + multimedija

ii. Od čega se sastoji hipermedijski sustav?
- sastoji se od čvorova i veza
iii. Koji su mogući modeli pri izgradnji hipermedijske interaktivne aplikacije? Objasnite ih ukratko.

??

22
Q
  1. Transkodiranje
    a. Što je transkodiranje?
    b. Objasnite kada se koristi transkodiranje i zašto je potrebno?
    c. Koji su benefiti korištenja transkodiranja? Tko ima koristi od transkodiranja?
    d. Koji su ključni parametri koji se mijenjaju/postavljaju prilikom transkodiranja?
    e. Navedite primjere sustava u kojima se koristi transkodiranje i navedite koja zajednička karakteristika odlikuje sve te sustave
A

a. Što je transkodiranje?
- Transkodiranje je proces dekodiranja videa iz nekog određenog formata u neki, obično nekomprimirani format, te njegovo prekodiranje u novi (traženi) format
b. Objasnite kada se koristi transkodiranje i zašto je potrebno?

  • Sve video zapise treba konvertirati u propisane formate, prilagoditi i pripremiti za gledanje u različitim preglednicima
  • Korisnici koriste različite uređaje za gledanje video zapisa
  • Ova raznovrsnost zahtijeva puno različitih verzija svakog video zapisa koji se moraju pripremiti za gledanje

c. Koji su benefiti korištenja transkodiranja? Tko ima koristi od transkodiranja?

- Benefiti
o velika količina raznovrsnog sadržaja
o razni formati i načini kompresije
o veliki broj različitih uređaja i rezolucija
- Korisnik ima koristi od transkodiranja

d. Koji su ključni parametri koji se mijenjaju/postavljaju prilikom transkodiranja?

  • rezolucija
  • brzina prijenosa
  • brzina izmjene okvira
  • kodek
  • drugi specifični procesi

e. Navedite primjere sustava u kojima se koristi transkodiranje i navedite koja zajednička karakteristika odlikuje sve te sustave

  • Sustavi
    o Konferencije
    o Telemedicina
    o Obrazovanje
    o Vojni sustavi
  • U svim tim sustavima, audio i video sadržaj moraju biti isporučeni bez prekida
  • Kvaliteta korisničkog doživljaja mora zadovoljiti propisanu razinu kvalitete takvih sustava
23
Q
  1. Multimedija, internet i računalne mreže – problemi i rješenja
    a. Koji su općeniti zahtjevi multimedije na računalne mreže?
    b. Objasnite probleme overflow-a i underflow-a na spremnicima. Što se događa s prikazom multimedijskog signala ako se dogodi pojedini od tih slučajeva?
    c. Koja su rješenja za postojeće probleme koji se događaju pri prijenosu multimedije računalnim mrežama? Objasnite ih ??
A

a. Koji su općeniti zahtjevi multimedije na računalne mreže?

  • zahtjevaju puno veću širinu pojasa od tradicionalnih tekstualnih aplikacija
  • Većina multimedijskih aplikacija zahtjeva prijenos u realnom vremenu
  • Audio i video podaci moraju se reproducirati kontinuirano, točno onom brzinom kojom su uzorkovani

b. Objasnite probleme overflow-a i underflow-a na spremnicima. Što se događa s prikazom multimedijskog signala ako se dogodi pojedini od tih slučajeva?

  • Kada podaci stižu prebrzo, spremnik će se „preliti“ i neki će paketi biti izgubljeni ->lošija kvaliteta reprodukcije
  • Kada podaci stižu presporo -> računalo nema dovoljno podataka za obradu u spremniku -> opada kvaliteta

c. Koja su rješenja za postojeće probleme koji se događaju pri prijenosu multimedije računalnim mrežama? Objasnite ih ??

  • Rezervirane veze i kabeli
    o zahtijevaju posebne instalacije i odgovarajuću dodatnu programsku podršku
  • ATM (Asynchronus transfer Mode) mreža
    o Smatran najboljim rješenjem za MM jer:
     podržava vrlo širok frekvencijski pojas,
     konekcijski je orijentiran
     podržava različite razine kvalitete usluge
    o Ali trenutno vrlo malo korisnika ima ATM mrežu u svojim ustanovama, a još manje ih ima ATM prospojen do svog računala
  • Internet
    o Internet je postao platforma za većinu mrežnih aktivnosti
    o To je osnovni razlog za daljnje razvijanje MM internetskih protokola
24
Q
  1. TCP, IP, UDP, RSVP, RTP, RTCP i RTSP protokoli
    a. Koje su osnovne funkcije TCP protokola i koja je najvažnija razlika UDP protokola u odnosu na TCP?
    b. Koje su osnovne funkcije IP protokola? Objasnite ukratko.
    c. Koje su osnovne funkcije RSVP protokola? Objasnite ukratko
    d. Koje su osnovne funkcije RTP protokola? Objasnite ukratko. Zašto radi uz UDP, a ne uz TCP?
    e. Koje su osnovne funkcije RTCP protokola? Objasnite ukratko
    f. Koje su osnovne funkcije RTSP protokola? Objasnite ukratko
A

a. Koje su osnovne funkcije TCP protokola i koja je najvažnija razlika UDP protokola u odnosu na TCP?

  • TCP
    o Razbija poruke u datagrame i ponovo ih spaja na prijemnom kraju –slaže ih ispravnim redoslijedom
    o Konekcijski orijentiran protokol koji osigurava pouzdan prijenos podataka s kraja na kraj
    o Pouzdan prijenos znači da nijedan paket neće biti izgubljen
    o Koristi dvosmjerni tok podataka
    o Klijent mora poslati potvrdu primitka svakog paketa i mora čekati eventualno izgubljene pakete
    o Ako pošiljatelj ne dobije potvrdu primitka, slijedi retransmisija
  • Razlika UDP naspram TCP
    o Ne obavlja tako puno posla kao TCP
    o Nastao zbog nepraktičnog korištenja TCP-a za neke vrlo kratke poruke koje stanu u jedan datagram

b. Koje su osnovne funkcije IP protokola? Objasnite ukratko.

  • Omogućava prijenos podataka
  • Datagram je skup podataka koji se šalju u jednoj poruci
  • IP je odgovoran za usmjeravanje individualnih datagrama
  • Zadaća IP-a je samo pronaći rutu do odredišta i isporučiti datagrame
  • U IP zaglavlju zapisana je izvorišna i odredišna adresa

c. Koje su osnovne funkcije RSVP protokola? Objasnite ukratko

  • Omogućava prijemnoj strani da zatraži određenu kvalitetu usluge s kraja na kraj za njezin tok podataka
  • Stvarno-vremenske aplikacije koriste RSVP za rezervaciju neophodnih resursa kod mrežnih usmjeritelja duž prijenosne rute -> želi se da tražena širina frekvencijskog pojasa bude stvarno raspoloživa jadnom kada prijenos krene
  • Kada je rezervacija resursa ostvarena, RSVP nadgleda usmjeritelje i prijemno računalo te održava kvalitetu veze koja je zatražena

d. Koje su osnovne funkcije RTP protokola? Objasnite ukratko. Zašto radi uz UDP, a ne uz TCP?

  • Osigurava podršku za prijenos real-time podataka
  • Funkcije: vremenska rekonstrukcija, otkrivanje izgubljenih paketa, identifikacija sadržaja
  • Stvoren primarno za višeodredišni prijenos real-time podataka, ali može se koristiti i za pojedinačni prijenos
  • RTP radi preko UDP
    o RTP dizajniran primarno za višeodredišno slanje tako da direktna TCP veza ne odgovara
    o Za real-time aplikacije pouzdanost isporuke nije jednako važna kao pravovremenost dolaska podataka (pouzdana veza, kao što je preko TCP-a
    čak i nije poželjna)

e. Koje su osnovne funkcije RTCP protokola? Objasnite ukratko

  • Real-time Transport Control Protocol
  • Mjeri QoS (kvalitetu distribucije podataka)
  • Pruža informacije o sudionicima u komunikaciji
  • Svi mogu odašiljati i primati
  • Kontrolira ukupni protok podataka
  • Svi sudionici komunikacije paze na kontrolne podatke

f. Koje su osnovne funkcije RTSP protokola? Objasnite ukratko

  • Real-time Streaming Protocol
  • Zadužen za kontrolu strujanja podataka
  • Može koristiti UDP, RTP, TCP, RSVP, kao i HTTP i IP multicast
  • Uspostavlja transport (SETUP)
  • Pokreće reprodukciju (PLAY)
  • Pokreće snimanje (RECORD)
  • Preusmjerava klijenta na novog poslužitelja (REDIRECT)
  • Zaustavlja isporuku, ali zadržava stanje (PAUSE)
  • Prekida slanje (TEARDOWN)