Univerzitet u Banjaluci
Elektrotehnički fakultet
Katedra za opštu elektrotehniku
Multimedijalni sistemi
Projektni zadatak
Muzika i slike
Objavljen: 22.11.2010. godine
Prijedlog projekta: 06.12.2010. godine
Rok za predaju: 21.01.2011. godine
Prezentacija: 25.01.2011. godine
Zadatak: Za projektni zadatak ponuđene su dvije teme: vizuelizacija muzike i
sonifikacija slike. Cilj vizuelizacije muzike je generisanje slike ili slika na osnovu
ulaznog muzičkog signala. Njena upotreba je u intervalu od vizuelizacija prilikom
reprodukcije muzike, kao npr. u Windows Media Playeru, do vizuelizacije zvučnog
signala u cilju njegove analize, za šta se može upotrebiti spektrogram, ali i reprezentacije
na višem nivou kao što je npr. timbregram.
Sa druge strane, sonifikacija slike predstavlja generisanje zvuka na osnovu podataka
sadržanih u slici. Primjene sonifikacije mogu biti u oblastima od novih korisničkih
interfejsa za slijepe do vizuelnog i algoritamskog komponovanja muzike.
Motivacija za oba pristupa su asocijacije koje postoje između muzičkih i vizuelnih formi.
U mnogim kulturama su prisutni primjeri korištenja vizuelnih pojmova da se opišu
zvučne pojave i obrnuto. Zaključak je da, iako se zvučne i vizuelne pojave opažaju na
različite načine, oba medija mogu izazvati slične kognitivne i estetske doživljaje.
U oba slučaja potrebno je napisati program u MATLAB-u čiji će ulaz biti .wav fajl ili
slika u nekom od podržanih formata (.jpg, .tiff, .png), a na izlazu će biti slika, odnosno,
zvučni signal, respektivno, generisana na osnovu ulaznog medija.
Neke ideje koje bi mogle pomoći prilikom izbora zadatka i pristupa rješavanju se mogu
naći u sledećim radovima i web stranicama:
• Timbregram opisan u http://www.ee.columbia.edu/~dpwe/papers/TzanC00airtools.pdf
• http://flyingpudding.com/projects/viz_music/
• Neki od primjera na http://www.visualcomplexity.com/vc/blog/?p=811
• Primjeri analize muzike koji mogu biti od koristi (u ranijim diplomskim
radovima): http://dsp.etfbl.net/students/maric.pdf i
http://dsp.etfbl.net/students/golic.pdf
• http://www.seeingwithsound.com/im2sound.htm
(http://www.seeingwithsound.com/voicebme.html)
• http://www.ohmpie.com/imageEncode
• http://cnx.org/content/col10319/1.2/
Osnovna funkcionalnost programa bi trebalo da sadrži sljedeće:
• učitavanje ulaznog medija: zvuka ili slike;
•
•
•
analiza ulaznog signala:
generisanje adekvatne reprezentacije u drugom tipu medija;
čuvanje/reprodukcija rezultujućeg tipa medija.
Nije neophodno generisanje izlaznog signala u realnom vremenu, moguće je da se ulazni
fajl učita, analizira, generiše novi sadržaj i rezultat sačuva u fajlu. Naravno, u slučaju
vizuelizacija koje imaju vremensku komponentu (Media Player stil) bilo bi dobro da se
video sinhronizuje sa zvukom.
Rješenja u kojima se vrijednosti piksela linearno preslikavaju u vrijednosti odmjeraka i
obrnuto, neće nositi značajan broj bodova, potrebno je izvršiti neku analizu ulaznog
signala i na osnovu rezultata te analize generisati izlazni signal. Cilj ovakvog pristupa je
da se pronađu neke osobine ulaznog signala koje bi se mogle preslikati u drugi medij i da
kod ljudskog posmatrača, odnosno, slušaoca izazovu slične doživljaje.
Projekat ne mora da ima grafički interfejs i njegovo uključivanje ne znači automatsko
povećanje broja bodova. Međutim, grafički interfejs može da bude dio Vašeg pristupa
samom problemu, tj. da omogući neku manipulaciju sa medijima u kom slučaju će nositi
bodove.
Detalji predaje radova: Studenti su dužni da do predviđenog roka predaju Prijedlog
projekta koji će sadržati imena studenata koji rade projektni zadatak, naslov projekta i
osnovne ideje koje će biti realizovane. Dužina prijedloga ne bi trebalo da prelazi jednu
štampanu stranicu teksta.
Nakon završetka kompletnog projekta, najkasnije do navedenog roka, predaju se sledeći
rezultati rada:
• aplikacija ili program u MATLAB-u zajedno sa multimedijalnim objektima koji
se mogu iskoristiti kao demonstracija,
• odštampan rad koji sadrži sve važne informacije o načinu projektovanja i
implementacije vašeg programa:
• definicija problema,
• objašnjenje izbora teorije i tehnologije za rješavanje problema (Šta već
postoji?),
• detalji rješenja na nivou struktura podataka i algoritma,
• detalji rješenja na nivou implementacije (Šta smo napravili?),
• demonstracija funkcionalnosti,
• diskusija i prijedlozi daljeg poboljšanja (Je li sve napravljeno? Koja su
poboljšanja moguća?),
• literatura (Koje knjige, časopise i WWW stranice smo koristili?),
• rad ne treba da prelazi 15 stranica.
• ovaj dokument treba da bude obrađen na računaru.
• prezentacija u Power Point ili PDF formatu koju ćete održati svim studentima koji
slušaju predmet u predviđenom terminu. Prezentacija treba da ukratko opiše
korištene algoritme te metodologiju projektovanja i implementacije. Za
prezentaciju će biti na raspolaganju maksimalno 10 minuta. Svi studenti koji
slušaju predmet su obavezni da prisustvuju prezentacijama.
Način rada i ocjenjivanje: Zadatak se radi u grupama po dva studenta. Konsultacije sa
asistentom su dozvoljene. Konsultacije između grupa su takođe dozvoljene, ali svaka
grupa treba da preda originalno rješenje. U slučaju prepisivanja odgovarajući radovi će
biti ocijenjeni sa nula poena. Dijelovi programa i ideje sa weba su uslovno dozvoljeni, tj.
mogu se iskoristiti pod uslovom da ne čine zadatak trivijalnim. Prije njihovog korištenja
najbolje se posavjetovati sa predmentim nastavnikom i asistentom.
Ocjena iz ovog zadatka čini 36% ocjene na ispitu iz predmeta.
Prilikom formiranja ocjene iz projektnog zadatka koristiće se sledeća okvirna podjela
bodova:
Ozbiljnost u definisanju zadatka
5
Odabir teorije i tehnologije za rješavanje problema
20
Detalji rješenja
30
Demonstracija
10
Diskusija i prijedlozi daljeg poboljšanja
10
Kvalitet prezentacije
5
Kvalitet izlaganja i pokazano znanje
20
Ukupno
100
Da bi se predmet uspješno položio potrebno je na projektnom zadatku ostvariti bar 50
bodova.
Oprema: Za rad na ovom zadatku studentima je na raspolaganju računarska oprema u
Laboratoriji za digitalnu obradu signala.
Predmetni nastavnik i asistent
Download

Projektni zadatak iz predmeta Multimedijalni sistemi