第一章 绪论
1.什么是信息？
信息是对不确定性的减少或消除。在信息论中，信息可以理解为从数据中提取的意义或知识。当我们接收到一个消息或数据时，它能够帮助我们更好地理解某个现象、状态或事件，这就是信息。信息本质上与数据不同，它不仅仅是符号或数字的集合，而是这些符号或数字所携带的意义，能够对接收者带来认知上的增益。
2.如何度量信息？
- 一般来说，我们可以判断是否获得信息，但无法准确的度量信息
- 但是我们可以应用数学工具，通过数学的运算来度量信息
3.Shannon信息论的三个论点
- 形式化假说：通信的任务只是在接收端把发送端发出的消 息从形式上复制出来，消息的语义、语用是接收者自己的事， 与传送消息的通信系统无关。只保留了数学可描述的内容。
- 非决定论：一切有通信意义的消息的发生都是随机的，消息 传递中遇到的噪声干扰也是随机的，通信系统的设计应采用概 率论、随机过程、数理统计等数学工具。
- 不确定性：信息就是用来消除不确定性的东西
4.信息的度量
- 信息的度量和不确定性消除的程度有关
- 不确定性的程度与事件发生的概率有关
-
信息量与概率的关系
-
信息量是概率的单调递减函数
- 概率小，信息量大
- 概率大，信息量小