Lewahan (teori maklumat)

Dalam teori maklumat, lewahan (ليواهن) mengukur perbezaan pecahan di antara entropi $H(X)$ bagi suatu ensembel $X$ , dan nilai maksimum yang mungkin $\log(|{\mathcal {A}}_{X}|)$ .^[1]^[2] Secara tidak rasminya, ia adalah jumlah "ruang" terbazir yang digunakan untuk menghantar data tertentu. Pemampatan data merupakan satu cara untuk mengurangkan atau menyingkirkan lewahan yang tidak diingini, manakala hasil tambah semak pula merupakan satu cara untuk menambah lewahan yang diinginkan dengan tujuan untuk mengesan ralat apabila berkomunikasi melalui saluran hingar bagi muatan terhad.

Takrifan kuantitatif

Dalam menerangkan lewahan data mentah, kadar suatu sumber maklumat ialah entropi purata setiap simbol. Untuk sumber tanpa ingatan, ini hanyalah entropi bagi setiap simbol, manakala, dalam kebanyakan kes umum bagi suatu proses stokastik, ia adalah:

r=\lim _{n\to \infty }{\frac {1}{n}}H(M_{1},M_{2},\dots M_{n}),

had, apabila n pergi ke ketakterhinggaan, bagi entropi tercantum bagi simbol-simbol n pertama dibahagikan dengan n. Ia adalah biasa dalam teori maklumat untuk membincangkan "kadar" atau "entropi" bagi suatu bahasa. Ini adalah sesuai, contohnya, apabila sumber maklumat merupakan prosa bahasa Inggeris. Kadar sumber tanpa ingatan hanyalah $H(M)$ , kerana dengan takrifan, tiada kesalingbergantungan mesej-mesej berturutan bagi suatu sumber tanpa ingatan.

Catatan

^ Di sini ia dianggap ${\mathcal {A}}_{X}$ merupakan set di mana taburan kebarangkalian ditakrifkan.
^ MacKay, David J.C. (2003). "2.4 Definition of entropy and related functions". Information Theory, Inference, and Learning Algorithms. Cambridge University Press. m/s. 33. ISBN 0-521-64298-1. The redundancy measures the fractional difference between $H(X)$ and its maximum possible value, $|\log(|{\mathcal {A}}_{X}|)$

Rujukan

Reza, Fazlollah M. (1994) [1961]. An Introduction to Information Theory. New York: Dover [McGraw-Hill]. ISBN 0-486-68210-2.
Schneier, Bruce (1996). Applied Cryptography: Protocols, Algorithms, and Source Code in C. New York: John Wiley & Sons, Inc. ISBN 0-471-12845-7.
Auffarth, B; Lopez-Sanchez, M.; Cerquides, J. (2010). "Comparison of Redundancy and Relevance Measures for Feature Selection in Tissue Classification of CT images". Advances in Data Mining. Applications and Theoretical Aspects. Springer. m/s. 248–262. CiteSeerX 10.1.1.170.1528.

[a1-1] Di sini ia dianggap ${\mathcal {A}}_{X}$ merupakan set di mana taburan kebarangkalian ditakrifkan.

[a2-2] MacKay, David J.C. (2003). "2.4 Definition of entropy and related functions". Information Theory, Inference, and Learning Algorithms. Cambridge University Press. m/s. 33. ISBN 0-521-64298-1. The redundancy measures the fractional difference between $H(X)$ and its maximum possible value, $|\log(|{\mathcal {A}}_{X}|)$

[1]

[2]