题主先抛个猜想吧。
对于不同状态和位置的观测者来说，同一事件，一样的描述①物理学上的信息的量总是不变的吗？②而信息学上的信息由于编码系统的不同，所以不同观测者得到的信息量不等？
如果②的答案是肯定的，这说明信息量和已知的信息（事先约定的编译系统）相关，于是信息量的变化并不像想象中那样，与对事件的描述同比变化，而是存在一个像发散级数的变化过程？
题主目前高一，希望能有适合我的解释。
举个例子吧，有点类似于三段论。事件A=太阳系有太阳（特指），事件B=地球和太阳在同一个行星系里面，A和B彼此都是独立的，当一个观测者知道A和B，那么有事件C=有地球（特指）的行星系是太阳系。A、B、C三者中知道两个等价于知道三个，但观测者的确只收到了两条，等于说是凭空产生一条信息。这种1+1>2的情况，对于统计庞大信息量的结果想必影响非常大，信息学上有这方面的解决方法吗？
假设观测者不会逻辑推理，无法推出第三条信息，那么这里就是我提问的关键了。逻辑推理和编码解码的技能算信息吗？如果算，姑且把它们叫做“元信息”吧。在这个例子中，情况还算简单，实际“元信息”本身难以判断，而且信息还可以不断迭代，信息量计算出来很可能是指数级别的误差。怎么办？
在「公式」上「没有本质区别」。@李宗生
因为「比特」只有一种，无论存储在三星牌内存里面还是紫光牌内存里面都没有区别，所以不会遭遇「吉布斯悖论」等困扰，而物理学的「混合熵」就不一样了也。
所以，「信息学」的熵是唯心的，而「物理学」的熵是唯物的，再展开可能会「政治敏感」了，略。@酱紫君
附：李宗生的回答链接
没有本质区别。从香农熵、玻尔兹曼熵和冯・诺依曼熵到仁义(Renyi)熵的定义，都是在把信息定义为给定“知识”下精确描述系统状态的能力。
比如在热力学中，玻尔兹曼熵对应于给定宏观态（宏观知识）下微观态的数量。如果微观态数量为1，说明宏观态对应了唯一的微观态，知道宏观态就确定了微观态，因此玻尔兹曼熵为0。而在量子力学中，密度算符一般性地给出了体系中所有物理量（包括涨落）的期望值，这是我们所能获得的“知识”。而我们从这些知识出发重构出系统“状态”的能力，则由系统处于不同纯态的概率分布决定（这里稍有些微妙，因为可能涉及不同的诠释），这就可以用（诺依曼、仁义）熵来度量了。
2018.01.01