Multimedija Crvena Flashcards
Objasniti na čemu se zasniva kodiranje videa u MPEG-4?
Osnovno kodiranje videa u MPEG-4 zasniva se na DCT-u bloka i predikciji
pokreta(vektor pokreta).
Objasniti 6 novih naprednih alata čije korištenje omogućava poboljšanje kvalitete
komprimiranog videa(NAMPOMENA –ne samo nabrojati, nego objasniti što i
kako rade) MPEG4
4 vektora po makrobloku- omogućava korištenje 1 ili 4 vektora pokreta po
makrobloku, što nam omogućava bolju kompresiju zahtjevnijeg sadržaja tj. bolje
komprimiramo brze pokrete i detalje i rubove pokretnih objekata. Broj vektora
pokreta ovisi o složenosti sadržaja(1 za jednostavan, 4 za složeni sadržaj).
Neograničeni vektori pokreta – omogućava definiranje najsličnijeg makrobloka
koji je djelom izvan granica referentnog okvira.
Intra-prediction – omogućava predviđanje DC koeficijenata iz susjednih prethodno
kodiranih blokova i opcionalno predviđanje prvog retka i stupca matrice AC
koeficijenata. Koristi se za blokove koji imaju manje detalja i rubova.
Globalna kompenzacija pokreta – omogućava zamjenu četiri vektora pokreta
jednim vektorom pokreta koji ih sve zajedno opisuje (ne opisuje 100% svaki vektor,
nego predstavlja neki prosjek)
Kompenzacija pokreta na razini 1/4 elementa slike – prije nego se radi pretraga
vektora pokreta rezolucija se poveća 4 puta.
H.263/MPEG-2 kvantizator – omogućava odabit norme prema kojoj ćemo raditi
kvantizaciju koeficijenata.( ovisno o primjeni)
Koji se tip signala koristi pri digitalizaciji videa i zašto?(Dig videa poduzorkovanje)
Koristi se YUV signal kako bi se iskoristila manja osjetljivost ljudskog vizualnog
sustava na promjenu boje u odnosu na promjenu svjetline. Omogučava nam
poduzorkovanje boje.
Što znači poduzorkovanje boje u odnosu na svjetlinu, zašto se radi i koji je razlog
da se uopće može raditi (da to ima smisla)?(Dig videa poduzorkovanje)
Poduzorkovanje boje u odnosu na svjetlinu znači da prilikom uzorkovanja svim
pikselima pridodajemo uzorak svjetline dok samo određenim pikselima dodjeljujemo
uzorak boje dok kod drugih piksela tu vrijednost ponavljamo.. Radi se kako bi se
smanjila veličina videa. Ovo možemo raditi jer je ljudski vizualni sustav puno osjetljiviji
na promjenu svjetline nego na promjenu boje.
Nabrojati 4 moda obrade pri kompresiji videa i za svaki od njih objasniti što se
odvija u kojem modu (slajdovi 42 i 43)
Pre-dobrada - u predobradi se radi reduciranje 10 bitnog zapisa u 8 bitni, prebacivanje
u odgovarajuću shemu poduzorkovanja,redukcija šuma i čišćenje slike
Prostorna kompresija(unutarkovirna) – kod prostorne kompresije nastaju I okviri,
iskorištava se zalihost u horizontalnoj i vertikalnoj dimenziji slike, kompresiju radimo
unutar jednog okvira, slično JPEG-u.
Vremenska kompresija(međuokvirna) – iskorištava se vremenska zalihost tj. sličnost
u susjednim okvirima. Kod vremenske kompresije nastaju P(predviđeni) i B(dvostruko
predviđeni) okviri.
Kontrola protoka – kompresija može biti s konstantnom brzinom protoka podataka
(kvaliteta videa je veća za manje zahtjevan sadržaj) te može biti s konstantnom
kvalitetom videa gdje je brzina protoka podataka manja za manje zahtjevan
sadržaj(promjenjiva brzina protoka).
Za koje je aplikacije namijenjena H.264 norma s obzirom na svoje karaketristike
Namjenjena je za videotelefoniju, videokonferenciju, mobilne mreže i internet.
Objasniti 4 nova napreda alata u odnosu na prethodne norme, čije korištenje
omogućava poboljšanje kvalitete H.264 komprimiranog videa (NAMPOMENA –
ne samo nabrojati, nego objasniti što i kako rade)
Unutarokvirna predikcija – Predviđanje vrijednosti bloka iz već kodiranih
blokova.Koristi se kod kodiranja I okvira, podjela na blokove 8x8 za kromatske
komponente i 4x4 ili 16x16 za svjetlinu. Kodira se razlika predviđenih i stvarnih
vrijednosti . Koristi se cjelobrojna transformacija, a zatim aritmetičko kodiranje. Za
4x4 blokove postoji 9 modova predikcije, a za 16x16 4 moda.
- Proračun vektora pokreta iz više referentnih okvira- omogućava rekonstrukciju
okvira ukoliko se dogodi gubitak najbližeg referentnog okvira, prilikom proračuna
vektora pokreta koristimo više prethodnih okvira kao referentne okvire. - Adaptivni filtar za smanjenje efekta blokova – uklanja efekte blokova na
granicama blokova, uklanjanje se vrši primjenom deblocking filtra(niskopropusnog
filtra) na granicama blokova. - Ne koristi DCT nego cjelobrojnu transformaciju- rezultat transformacije su
cjelobrojni AC i DC koeficijenti.
Koje su osnovne karakteristike linearnog prediktivnog kodiranja govora?(LPC)
Koristi matematički model govornog trakta, pogodan je za male brzine prijenosa i
kodiranje mehaničkog govora.
Koje su ideje, a koji ciljevi LPC analize govora?Objasnite.
Ideja LPC analize je da se trenutni uzorak govora može predvidjeti pomoću linearne
kombinacije određenog broja prošlih uzoraka, gdje prethodni uzorci ne doprinose
jednako iznosu trenutnog uzorka(bliži uzorci doprinose više). Cilj LPC analize je
odrediti parametre linarnog prediktora.
Objasnite postupak kodiranja govornog signala koristeći LPC.
Govorni signal kodiramo tako da predviđamo trenutni uzorak iz prethodnih kodiranih
uzoraka tako da prethodne uzorke množimo s njihovim parametrima linearnog
prediktora te njihove umnoške zbrojimo kako bi dobili trenutni predviđeni uzorak.
Nakon toga uzimamo razliku trenutnog uzorka i trenutnog predviđenog uzorka i nju
kodiramo.
Što se šalje dekoderu pri kodiranju pojedinih uzoraka govornog signala LPC
koderom?
Dekoderu se šalju parametri linearnog prediktora i kodirana razlika trenutnog i trenutno
predviđenog uzorka.
Kako nastaju P okviri –shema za međuokvirno kodiranje i objašnjenje zašto se ono
uopće može raditi?(P i B okviri)
Koraci:
1. Podjela slike na makro blokove
2. Za svaki makroblok tražimo vektore pokreta
3. Dodavanje vektora pokreta na I okvir(kreiranje trenutnog predviđenog okvira)
4. Računanje okvira razlike
5. JPEG komprimiranje okvira razlike
6. Slanje komprimiranog okvira razlike i vektora pokreta dekoderu.
Međuokvirno kodiranje možemo raditi jer su susjedni okviri dosta slični, jer su
vremenski jako malo razmaknuti.
Kako nastaju B okviri –zbog čega je korisno nekada raditi dvosmjerno predviđanje
okvira?(P i B okviri)
B okviri nastaju iz nekog od prethodnih I ili P okvira i iz nekog od sljedećih I ili P
okvira. Postupak je skoro Identičan Kreiranju P okvira, samo što se kod kreiranja B radi
predviđanje i iz sljedećeg P ili I okvira. Korisno je raditi dvosmjerno predviđanje jer
nekad ne možemo pronaći iste ili slične makroblokove u prethodnom I ili P okviru a koji
se nalaze u sljedećem I ili P okviru.
Zašto se originalna slika dijeli na blokove 8x8 elemenata slike? (JPEG)
Kada bih radili DCT na cjeloj slici onda bi morali sačuvati puno informacija visokih
frekvencija dijela slike s puno tedalja čak i za dijelove na kojima nema detalja, kako
bi se to izbjeglo sliku djelimo na elemente 8x8, što nam omogučava izbacivanje
visokih frekvencija na dijelovima slike s malo detalja i rubova čime ostvarujemo
bolju kompresiju.8x8 bloki daje najbolji kompromis između brzine obrade i podjele
slike na blokove.
Što radi disketna kosinusna tranformacija (DCT), zašto se ona primjenjuje u
JPEG normi i što predstavljaju brojevi u matrici nakon DCT-a? (povezati s
pitanjem 25)(JPEG)
DCT prebacuje sliku (blokove slike) iz prostorne domene u domenu prostornih
frekvencija, primjenjujemo ju kako bismo intuitivnije odredili što možemo izbaciji iz
slike a što ne. U domeni prostornih frekvencija znamo što oko vidi te lagano
možemo izbaciti nepotrebne prostorne frekvencije. Nakon DCT-a blokovi sadrže
koeficijente amplituda dvodimenzionalnih prostornih frekvencija.