信息论information theory

信息论原是由申农和维纳发展起来的通讯理论，主要是为解决通讯编码问题而提出的。信息论提出了对所获信息进行数值测量的方法。信息论的理论也被用于心理学、语言学、神经生理学和生理学等研究领域。按照信息论理论，通讯系统（当然这种模型也可用于其他非通讯系统）一般是由以下几部分组成：

信源在系统的发送端产生信息，信宿最后接受这种信息，信道是把信息从信源传递到信宿的物理介质。信源产生的信息一般不符合信道输入的要求，这就要在发送端通过编码来变换。同样，在接收端就要通过译码以符合接收要求。如果信息是取自离散随机变量集，这个信源就可称为离散信源。不是离散的信源就是连续信源。例如产生字母和数字的信源就是离散信源， 而产生言语和音乐的信源就是连续信源。一个信道的输出并不一定要和输入一致。如果信道的输出在已知输入信息时能够计算出来，那么这个信道就是无噪声的。如果有随机事件使得信道的输出变得不可预测，那么这个信道就是有噪声的。