Pengindeksan dan Pencarian Data Multimedia

Pengindeksan dan Pencarian Audio
Metode yang paling umum untuk mengakses potongan-potongan audio didasarkan pada judul atau
nama filenya. Namun metode tersebut kurang efektif karena pencariannya bersifat subyektif dan bisa terdapat ketidaklengkapan data. Untuk menangani masalah tersebut, maka pencarian audio berdasarkan isi diperlukan. Cara yang paling sederhana adalah menggunakan perbandingan sampel dengan sampel dengan query dan potongan-potongan audio yang disimpan.
Pendekatan ini tidak dapat berjalan dengan baik karena signal audio sangat berbeda dan potongan-potongan audio yang berbeda mungkin direpresentasikan dengan tingkat sampel yang berbeda dan mungkin menggunakan jumlah bit yang berbeda untuk tiap sampel. Karena hal tersebut, pencarian audio berdasarkan isi umumnya didasarkan pada sekumpulan dari bentuk-bentuk audio yang diambil, seperti rata-rata amplitudo dan distribusi frekwensi.
Pendekatan umum pada pencarian dan pengindeksan audio berdasarkan isi adalah :

• Audio diklasifikasikan kedalam beberapa jenis audio yang umum seperti audio, musik dan bising.
• Jenis-jenis audio yang berbeda diproses dan diindeks dengan cara yang berbeda. Sebagai contoh, jika audio adalah audio, pengenal audio diterapkan dan audio diindeks berdasarkan pada kata-kata yang dikenali.
• Melakukan query potongan-potongan audio dengan cara klasifikasi berdasarkan kemiripan, diproses dan diindeks.
• Potongan-potongan audio dicari berdasarkan atas kemiripan antara index query dan index audio yang terdapat dalam basis data.

Tindakan klasifikasi audio adalah penting karena beberapa alasan.

1. Jenis-jenis audio yang berbeda memerlukan teknik-teknik pencarian dan pengindeksan yang berbeda. 
2. Jenis-jenis audio yang berbeda memiliki pengaruh yang berbeda pada aplikasi - aplikasi yang berbeda. 
3. Salah satu jenis-jenis audio yang paling penting adalah audio dan sekarang terdapat banyak sistem pengenalan audio yang sangat sukses. 
4. Jenis audio atau klas informasinya sendiri sangat berguna untuk beberapa aplikasi. 
5. Ruang pencarian setelah klasifikasi dikurangi pada klas audio yang khusus selama proses pencarian.

Pengindeksan dan Pencarian Citra
Terdapat empat pendekatan utama untuk pencarian dan pengindeksan citra.

1. Isi citra dimodelkan sebagai sekumpulan atribut-atribut yang diambil secara manual dan dikelola dalam kerangka sistem manajemen basis data biasa.Banyak citra yang telah atributnya telah didefinisikan sebelumnya. Sebagai contoh atribut-atribut tersebut adalah nama citra, kategori citra, tanggal pembuatan, subjek, pencipta, dan sumber citra.
2. Berdasarkan pada subsistem pengenalan objek atau pengambilan bentuk yang terintegrasi. Subsistem ini mengotomisasi pengambilan citra dan pengenalan objek. Tetapi pendekatan secara otomatis untuk pengenalan objek membutuhkan perhitungan yang luas, sulit.
3. Menggunakan teks bebas untuk menjelaskan citra dan menggunakan teknik-teknik pencarian informasi untuk melakukan pencarian citra. Teks dapat menjelaskan isi abstraksi dari suatu citra. Tetapi karena ada struktur untuk menjelaskan hal ini, maka keterangan citra dapat ditambahkan secara bertahap. Hal ini tentu akan tetap menimbulkan kekurangan, tetapi hal ini dapat diatasi
   dengan melakukan umpan balik yang dilakukan sistem kepada pengguna dengan cara sistem memiliki pengetahuan untuk melakukannya.
4. Menggunakan bentuk citra level rendah seperti warna dan bentuk untuk melakukan pengindeksan dan
   pencarian citra. Keuntungan dari pendekatan ini adalah proses pencarian dan pengindeksan dilakukan secara otomatis dan hal ini mudah diimplementasikan. Hal ini telah terbukti bahwa pendekatan ini menghasilkan kinerja pencarian yang cukup baik.

Pengindeksan dan Pencarian Video
Video kaya akan informasi. Suatu video yang lengkap terdiri atas judul, track bunyi (audio dan bukan audio), dan image tersimpan yang dimainkan pada kecepatan yang tetap. Dengan demikian dapat dipandang bahwa video sebagai gabungan dari teks, audio dan citra dengan suatu dimensi waktu. Disamping hal tersebut, beberapa metada video seperti judul dan pengarang disatukan dengan video.
Dengan demikian metode-metode dibawah ini dapat digunakan dalam pencarian dan pengindeksan video.

• Metode berdasarkan metadata. Video diindeks dan dicari didasarkan pada metadata yang terstruktur dengan menggunakan sistem manajemen basis data tradisional. Metadata yang umum adalah judul video, pengarang, tanggal pembuatan dan jenis video.
• Metode berdasarkan teks. Video diindeks dan dicari berdasarkan pada bagian judul yang sesuai dengan menggunakan teknik-teknik pencarian informasi. Naskah dan bagian judul biasanya sudah ada pada beberapa jenis video seperti program berita dan bioskop, dengan tujuan mengurangi kebutuhan akan pemberian catatan secara manual. Informasi sementara dapat ditambahkan dengan teks yang sesuai pada frame-frame yang berhubungan.
• Metode berbasiskan audio. Video diindeks dan dicari berdasarkan pada kesesuaian bunyi dengan menggunakan metode pencarian audio. Audio dipecah kedalam kelompokkelompok audio dan yang bukan audio. Pengenalan audio diterapkan pada signal audio untuk mendapatkan kata yang diucapkan. Selanjutnya pencarian dan pengindeksan video didasarkan pada audio kata yang diucapkan dengan menggunakan teknik-teknik pencarian informasi.
• Metode berbasiskan isi. Terdapat dua pendekatan umum pada pencarian dan pengindeksan video berbasiskan isi. Pendekatan pertama, video sebagai kumpulan dari citra-citra dan frame-frame yang berdiri sendiri, dan menggunakan metode-metode pencarian dan pengindeksan citra untuk melakukan pencarian informasi. Masalah yang dapat timbul dengan pendekatan ini adalah pengabaian keterhubungan sementara antara frame-frame video, dan dibutuhkan untuk memproses citra yang banyak. Pendekatan kedua membagi rangkaian video kedalam kelompok-kelompok frame yang mirip, dan pencarian dan pengindeksan didasarkan pada representasi dari kelompok-kelompok frame tersebut.

Sumber :
http://luky.paramadina.web.id/modul-kuliah/Pengantar%20Teknologi%20Informasi/Bab%2014%20Sistem%20Multimedia%20dan%20Basisdata.pdf