信息熵

越来越多的科学家认为,世界的本质是随机的,确定性只不过是随机性的一个特例。从整体或全局出发的系统论思想正在成为科学研究的主流方向之一,复杂、非线性、突变、自组织、自相似、随机涨落、不可逆等特征在复杂巨系统中俯拾即是。

 

一般概率分布情形,就是互信息的概念。我们认为:从局部意义上说,信息即熵减即有序即价值;从整体意义上说,世界是由物质、能量和信息构成的,自然是物质和能量在时间和空间中的分布,该分布相对于均匀分布的偏离即为信息,人类的总价值即为人与自然之间的互信息。

 

微积分等传统数学工具处理起来非常困难,不同类别的东西(例如水果和汽车的产量)一般无法直接处理,但它们的联合熵在信息论中是有意义的;对于分层问题,信息熵在层次间具有“可加性”,可以很自然地应用于从局部到分层到整体的复杂系统。

 

对于一个复杂系统,人们对局部或整体的认识都是不完备的,如何利用所有的已知认识对系统进行推断?信息论给出的答案是在所有满足已知条件的概率分布中选择熵最大的那个,这就是著名的“最大熵原理”。可以证明:系统的最大熵解是存在并且唯一的,一般情况下也是最稳定的,从“熵增定律”角度看它是系统自然演化的必然结果。

 

在负熵稀缺的约束下,如何实现更节约能源、更节约物质、更节约和保护空间、更高效率的理想生产组织方式?答案必然指向“归信息化”。我们认为商品价值可以划分为物质价值、能量价值、时间价值、空间价值和信息价值五个部分,只有信息价值占比高也就是说商品的价值归信息化时,上述理想才能实现,这是因为信息区别于物质、能量、时间和空间的本质特征为可光速传输、可复制、可共享、可编码,前三个特征保证了人们能以极低的成本极快地得到信息,第四个特征可使得信息存储/发送/传输/接收的效率更高。

 

 

最大熵解,而终极指向还将是公平。在整个网络的输入负熵总量增加时,加的部分在偏向于公平时不应使效率降低、在偏向于效率时不应使公平减少,这就是所谓的“帕累托最优”,也是我们混合模型中的最大熵解。

正如前文所述,信息区别于物质/能量的本质特性使得归信息化成为负熵总量增加的最高效路径,而如何选择公平与效率的混合比例以及实现其最大熵解则取决于社会制度与经济制度的选择和变革。

 

在以上论述中,我们从经济学的某些概念(如需求/供给、公平/效率)出发,利用信息论的视角和方法讨论分析了人类社会系统的演化发展问题,并给出了终极指向——归信息化、网络化的分散布局经济。

 

我们将商品价格划分为本征价格和市场价格两种,其中前者排除了货币数量的影响,仅依赖于商品价值和稀缺程度,而后者还受到货币数量多寡的进一步影响。我们用上述五个细分维度刻画商品价值,用总需,n种商品两两比较的复杂度从O(n)降为O(n)。在讨论有货币参与的商品市场价格问题时,我们将经济系统看作信息论中的一个通信系统(信源通过信道发送信息给信宿),其中生产者、消费者类似于信源和信宿,商品类似于信息,而货币则为信道。信元的流入流出导致汇率周期的涨落并非随机和偶然。纵观第二次世界大战后的世界经济历史,美国的政治活动、军事活动、经济政策都是以巩固美元中心节点地位为目标的。

 

通过历史上美元的涨落周期来看,美国总在困难的时候,通过美元贬值将困难转嫁给全球,当经济出现好转,又会吸引资本回流,导致其他国家经济衰退或爆发危机。中国当前正处在宏观转折的关键时点上,如何应对资本回流美国以避免对国内经济的冲击是我们必须思考的问题。

 

在人类历史上,每一次的创新需要用大量的资金制造泡沫,泡沫的膨胀又吸引更多的人力、物力、财力进来,直至泡沫破裂,资金流出等待下一次创新。人类的进步都是建立在一个又一个泡沫之上。美国每一次的资本回流都相当于一次制造泡沫的过程,这个过程最终促成了创新,美国进入新一轮的周期,直至泡沫破裂。以美元为中心的货币网络结构,导致除美国外的其他国家,在美元回流的过程,自身泡沫风险更容易暴露,发生危机的可能性更大。美元回流加剧了全球经济的动荡。因此,人民币国际化是目前中国战略的必选项。然而比较美国第二次世界大战以来的美元中心主导地位,是依靠政权、军权、金权的三位一体统治全球,而中国只有金权来参与世界管理,军权、政权的影响力不大。一旦危机发生,中国的金权将被大大削弱,人民币国际化和中美共治就成了妄想。

 

价格的本质是什么?这曾经是困扰无数经济学家的难题,我们从信息熵的角度给出了商品价格的定义:商品的价格是商品的价值与商品的稀缺度之比。我们首先定义商品的价值等于不确定性减少的部分,即为的乘积。物质是信息的载体,能量支撑信息的传输,时间空间是信息的标度,信息是王者,是对物质、能量在时间空间中分布的回答。

 

 

. 网络化并且归信息化的分散布局的社会才是终极发展方向,人类社会学等自然科学和社会科学的许多领域得到了广泛应用,正如爱因斯坦 所评价的,“熵理论对整个科学来说是第一法则” 。

信息熵将熵的概念从物理学中拓展到了任意的随机事件集合中,大大扩展了熵概念的含义,在包括生命科学在内的自然科学乃至社会科学的各个领域,存在着大量的不同层次、不同类别的随机事件的集合,每一种随机事件的集合都具有相应的不确定性或无序度,所有这些不确定性和无序度都可以用信息熵这个统一的概念来描述,因此信息熵又被称为泛熵或广义熵,用于度量任一物质运动方式的不确定性或无序度。

 

从而降低随机变量的熵。最大熵原理的实质就是预测时引入的信息只能是真正确定的先验知识,而不能包含一点人为假设的信息,这样的预测风险最小,最能保留各种可能性。最大熵原理广泛应用于统计学习、自然语言处理、图像处理和股票预测等领域。

 

玻尔兹曼就注意到生物的生长过程与熵增加相拮抗的事实。他说:“生物为了生存而作的一般斗争,既不是为了物质,也不是为了能量,而是为了熵而斗争。这种斗争在能量从热的太阳到冷的地球的转移,受玻尔兹曼和齐拉德思想的影响,1944年,薛定谔出版《生命是什么》一书 ,更加明确地论述了负熵的概念,并且把它应用到生物学问题中,提出了“生物赖负熵为生”的名言。

 

在薛定谔的负熵理论提出之后,布里渊 、维纳、香农等人又进一步地提出并论证了“信息就是负熵”的观点。

 

信息,通常指在学习或观测中所得到的新闻、消息、知识和数据。在科学上,信息具有严格和确切的含义,它是指某些抽象的,能被存储、提取、传递和交换的资料以及数据的集合,用信息量来作为定量的描述。(有学者指出 ,虽然宇宙大爆炸理论宣告了热寂论的终结,但我们仍然不能避免宇宙未来在其他意义上的热寂论。热寂论危机仍然存在,热寂论并未终结)。

 

1969年,普利高津在国际“理论物理与生物学会议”上发表了《结构、耗散和生命》一文,提出了耗散结构理论,把理论热力学的研究推向了当代的最高峰。在耗散结构理论中,宏观系统可以分为孤立系统、封闭系统和开放系统,其中开放系统是一种能与外界同时存在能量流、物质流和信息流交换的动态系统。开放系统又可以根据其内部各个区域的物质和能量分布的平衡程度分为三种存在状态:平衡态、准平衡态、近平衡态和远平衡态。在此基础上,普利高津将“耗散结构”定义为:一个远离平衡态的开放系统通过与环境不断地交换物质、能量和熵,在一定的条件下自发形成的有序结构 。

(1)系统必须开放。热力学第二定律指出:孤立系统的熵不可能减少。对于一个孤立系统,无论其微观机制如何,如果从宏观上看,它可以被当成是孤立系统,则必然要达到平衡态。耗散结构理论认为,对于孤立系统来说,熵是增加的,总过程是从有序到无序;而对于开放系统来说,由于通过与外界交换物质和能量,可以从外界获取负熵用来抵消自身熵的增加,从而使系统实现从无序到有序、从简单到复杂的演化。

 

系统和人类社会活动等开放系统都有非常重要的意义。可以说,耗散结构理论统一了自然科学、生命科学和人文科学三者的发展规律,它是20世纪跨学科研究最重要的成果之一。

 

采样是从模拟的物理世界获取数字信息的必由之路。多年来,指导信号采样的基础理论一直是著名的香农—奈奎斯特(Shannon-Nyquist)采样定理,该定理指出,对于有限带宽信号,采样速率必须达到信号带宽的两倍以上才能精确地重建原始信号。然而,由于待处理的信号带宽越以从低维的观测向量精确或者高概率地重建原始向量。因此,压缩感知以远低于香农—奈奎斯特采样定理要求的速率进行采样,直接获得压缩形式的数据,从而突破了香农—奈奎斯特采样定理的瓶颈,使得高分辨率信号的采集成为可能。另外,这种采样方式还避免了对采样后数据的压缩感知理论指出 :如信号在某组变换基(或过完备字典)上是稀疏(或可压缩)的,那么就可以用一组与变换基不相干的观测基对信号进行测量,将其从高维空间线性投影到一个低维空间上。同时这种投影可以保持重建信号所需的信息,通过进一步求解一个稀疏优化问题可以从低维的观测向量精确或者高概率地重建原始向量。因此,压缩感知了美国国家科学基金的最高奖——沃特曼奖。目前,压缩感知已成为数学和工程应用领域的一大研究热点,在理论上衍生出了分布式CS理

论、1-比特CS理论、贝叶斯CS理论等;在应用方面,CS理论也被应用于压缩成像、机器学习、地理信息数据分析、无线传感器网络、信源编码等领域。

比如,目前流行的用来估计中国GDP增速的“克强指数”就可以看作压缩感知的一个例子。克强指数源于李克强总理2007年任职辽宁省委书记时,喜欢通过耗电量、铁路货运量和贷款发放量三个指标分析当时辽宁省经济状况。

 

1969年,诺贝尔化学奖得主、著名物理学家普利高津提出了“耗散结构理论”,来说明远离平衡态的开放系统是如何自发形成并维持稳定的有序结构,即“耗散结构”。生命系统、人类社会系统、经济系统以及许多重要的复杂系统都是一个有序的开放系统。依赖于负熵的持续流入,系统维持着有序状态,从有序到更加有序代表着价值的增加,从有序到无序则代表着价值的减少、熵增、直至死亡。

 

热力学熵和信息熵在本质上是一致的,热力学熵描述系统的无序度,信息熵描述随机变量的不确定性,热力学熵其实是均匀分布下的信息熵。在后面的讨论中,我们将主要使用信息熵,因此下面我们简单回,我们认为,自然是物质和能量在时间和空间上的(概率)分布。人类维持生命所需的负熵来自于自然,负熵即有序即价值,所获负熵的多少取决于人类社会对自然的认识和了解程度。因此,人类社会的总价值就是人与自然的“互信息”。商品是价值的载体,它承载有序或负熵。和环境涨落的影响或限制。技术进步、管理创新都会使人均产出增大,负熵稀缺则会导致人均产出降低,环境涨落包括自然条件的变化,例如,农业社会时天灾会显著降低人均产出。

 

性质

(4)表明,通过改变分配方式降低需求分布熵是有极限的。超过该极限,必然会导致生命个体的死亡,即消费者数目下降,此时经济系统会非常不稳定。基尼系数与需求分布熵有负相关的倾向。在一个社会中,需求分布熵越小,说明需求分布越不均匀,从而社会的基尼系数越大。

 

符合上述最大熵解的经济系统还有:原始社会的人人平等经济(属于上面定义的人人平等的分散布局经济)、中国封建社会自给自足的小农经济、佛教理论中的最小消耗经济。容易发现,上述经济系统具有如下的共同特征:(1)分散布局;(2)(近似)人人平等;(3)几乎不需要货币。这些特征也与经济学中著名的“阿罗—德布鲁一般均衡存在性定理”几乎完全吻合。

 

网络化的分散布局生产和生活方式体现了平等、自由,达到了最大熵,具有最佳的稳定性,我们坚信它必将是未来社会的发展方向。进一)信息价值V:几乎所有的商品都凝结了人类的智慧,从而使得该商品能够拥有特定的功能,完成特定的工作,我们将商品中凝结的人类智慧称为商品的信息价值。在古代,商品中的信息价值较小,因此,能量守恒定律、物质不灭定律、质能等价定律等都可以应用于经济系统的分析。能量、物质具有不可共享性,然而,在自然条件下,熵单调递增,这是导致能量、物质稀缺的根本原因。

 

信息的目的和本质就是合作、共享,这一点完全不同其他几个价值形式,也体现了其更高的价值形式。信息可以以光速传播,这决定了信息的高效性,同时,信息方式是人类最节约能量、物质、空间的解决方式,信息的合作与共享本质,使得社会中人人平等。

 

上物质和能量储量、时空等的物理条件的限制,因此具有稀缺性。信息价值依赖于人类的智慧和创造,不依赖于具体的物理条件(当然,人类的生存受制于物理条件),并且随着大量信息的产生,人们创造信息价值变得越来越容易,从而形成正循环反馈。因此,只要人类存在,信息价值就可以源源不断地创造出来,没有稀缺性。

 

物质、能量、时间和空间价值由于受物理条件限制,一种商品占有了该价值,其他商品就不能再共享,因此具有排他性。信息价值可以复制和共享,共享成本低廉,共享之后所有参与者都拥有该价值,而且信息提供者的信息价值并未受损。因此,信息价值没有排他性,信息的共享体现了公平。

 

(3)在负熵稀缺的约束下,如何实现更节约能源、更节约物质、更节约和保护空间、更高效率的生产组织方式?

 

对上述问题的回答就是信息,这是信息价值的核心部分。这也是创新的核心内容,包括知识创新、技术创新、产品创新、管理创新、生产创新、制度创新。

 

商品的价格主要受三方面因素的影响:商品价值、供需关系和货币投放量。我们将排除货币投放量的商品价格称为商品的本征价格,它只分散布局是在复杂系统中针对某些目标在一定的约束条件下的最优化解。有时在整个复杂系统中达到一个我们期望的目标,或让其实现一个宏大的功能,是非常困难的,系统越复杂,最优解越难找到。于是我们希望能在一定的约束条件下寻找到一些符合要求的最优解。而物理现实中的系统都非常复杂,以至于必须在一些现实约束下才有可能找到最优解。有时我们的目标是要求复杂系统越稳定越好,不要出现崩塌现象,减少黑天鹅事件对整个系统的毁灭性破坏。而有时我们的目标是复杂系统运行的效率高,得到期望的结果有经济,节约的效应。目标函数可以有很多,但分散布局是针对很多个目标函数有普适意义的最优实现

 

途径之一,有时分散布局甚至既是系统稳定,又是运行效率最高,运行过程最经济这三个目标函数的最优解。在漫长的人类历史长河中,分散布局的威力没有被充分认识清楚,甚至是被忽视了。

 

更进一步,现代的量子力学中的路径积分表述就是采用了类似于最小作用量原理的方式,把量子力学的全部表达为一个基于量子系统比如一个电子或一个光子的整体的、全局的一个物理量——拉格朗日量的一个积分方程。量子力学的路径积分表述跟薛定谔微分方程和海森堡的矩阵力学是等价的,是用来描述量子力学的第三套平行的理论。在物理学的体系里,跟分散式布局一样从全局最优出发从而求解出局部也最优的例子不胜枚举,费马原理等都有相类似的效果。

 

 

 

人人都是知识的创造者,人人同时又是知识的分享者和使用者,这

恰恰就是知识产生、分享和使用的分散式布局的结构。

 

分散式布局的知识产生、分享和使用模式,提高了知识的分享效率,降低了知识的获取成本,并使知识的传播更为迅速,广泛,对知识的传承的稳定性也有着至关重要的作用。

 

 

先看四个算式:

100

1.01 =2.7048;

100

1.02 =7.2446;

100

0.99 =0.3660;

100

0.98 =0.1326。

 

 

结构决定功能是系统科学的基本观点 。

比如,构成生命物质基础的蛋白质,其功能就依赖於其一、二、三、四级结构。蛋白质是细胞组分中含量最丰富、功能最多的高分子物质。酶、抗体、多肽激素、转运蛋白、收缩蛋白以及细胞的骨架结构均为蛋白质。蛋白质的基本组成单位是氨基酸。氨基酸借助肽键连接成多肽链。多肽链是蛋白质分子的最基本结构形式。多肽链中氨基酸的排列顺序称为蛋白质的一级结构。蛋白质分子中的多肽链经折叠盘曲而具有一定的构象称为蛋白质的高级结构。又分为二、三、四级结构。二级结构是指局部或某一段肽链的空间结构,也就是肽链某一区段中主链骨架原子的相对空间位置。包括α-螺旋、β-折叠、β-转角和无规卷曲。三级结构是指整条肽链中全部氨基酸残基的相对空间位置,也就是整条肽链的三维结构。四级结构是由两条或两条以上的多肽链借助次级键连接而成的结构。蛋白质在某些理化因素的作用下,其空间结构会发生改变,从而使其理化性质发生改变,生物学活性丧失,这就是蛋白质的变性作用。

 

 

 

人体神经网络就是这样一个具有良好结构和强大网络功能的网络。人脑是一个高度致密的中心网络,其中包含了大约1 000亿个神经元(即1 000亿个节点)和100万亿个神经突触(即100万亿条边)。人体其他部位的神经元组成了边缘网络,中心网络接收边缘网络各处神经元传来的信号,计算应该如何反应,并迅速发出操作指令指示边缘节点执行相应动作。

 

因此,人脑内节点间有规律的连接的形成一般需要依靠外界干预。这种干预常常以教育(知识、经验传授)的形式表现。在教育者(教育者的教育可以是直接教育,如教师授课;也可以是间接教育,如学习者依靠书本自学)头脑中这种连接已经建立,受教育者脑中连接尚未建立,教育的过程就是教育者帮助受教育者建立连接。受教育者脑中这种特定连接建立后,受教育者还需要利用节点间环路的反馈作用,通过不断记忆、温习来稳固连接。

 

 

对一个系统而言,当我们得到关于它的足够的信息后,我们可以消除一部分(或全部)关于其运动状态的不确定性,这样所消除(或减少)的熵就是负熵,所以信息就是负熵。信息所表示的是体系的有序度、组织结构程度、复杂性、特异性或进化发展程度,这是熵(无序度、不定度、混乱度)的矛盾对立面,即负熵。

 

人类社会的根本矛盾可以总结为:负熵的间断、有限供给与持续、加速的熵增之间的矛盾,具体表现为有限的资源与无限的消费,这是一切危机的根源。

在经济系统中,价值创造需要消耗直接生产成本,以及需要考虑外部不经济带来的间接成本。直接成本中,物质、能源、劳动时间等要素都受到稀缺约束,归信息化的目标是提高信息价值占比,获取更大的经济效益。

 

归信息化是解决根本矛盾的最优选择路径。归信息化具备共享、合作、开放、全局、自由、民主、平等、非物质幸福和非物质尊严、环保、与自然和谐、边际递增的价值观,核心理念是通过扩大载荷在物质,之上的信息价值,形成新的物质系统,从而减少对物质、能源的消耗,实现可持续的负熵供给。

 

在传统经济当中,企业追求规模经济。

 

 

信息的可共享、并在共享中可增值的特性,是物质和能量所不具有的。这就是通常所说的,物质和能量均是越用越少,而只有信息是越用越多。 信息越用越多正是反映了其具备边际递增的效应。

 

 

 

信息不对称和信息不完全一直存在,阻碍了知识的创新和传播。如果信息能够平等自由地获取和使用,结合网络化,充分共享,充分合作,弱化信息不对称和信息不完全,新的知识、新的发明可能只需更短的时间便可诞生,从而提高全社会的福利水平。

 

人类历史因此也伴随着信息传递方式的演进而展开。目前公认的人类历史共出现了五次信息传播革命 。

第一次是语言的使用,语言成为人类进行思想交流和信息传播不可缺少的工具。语言的产生使人类信息活动范围和效率得到巨大的提高。

第二次是文字的出现和使用,使人类对信息的保存和传播取得重大突破,较大地超越了时间和地域的局限。人类面对面的交流通过语言,

第三次是印刷术的发明和使用,使书籍、报刊成为重要的信息储存和传播媒介(纸和印刷术,都属于媒介范畴,但纸直接作为载体,印刷术作为提高载体信息量和传输力的技术)。

第四次是电话、广播、电视的使用,使人类进入利用电磁波传播信息的时代。电磁波传播信息也被称为无线电技术的发明和应用

 

第五次是计算机与互联网的使用,即网际网络的出现。从

信息论的完整表述可见于《通信工程的数学原理》:信源将信息编码后通过信道传输给信宿,信宿将接收到的信号解码,还原成信源发送的信息,这就是一次通信过程。其中涉及的信源、编码、信道、解码、信宿等是通信的要素。

知识是人们在认识世界、改造世界中获得的认知以及积累的经验的总和,是人类理解与学习的结果。 人类获取信息,并对其进行处理和储存,因而形成了知识。知识是信息的子集,因此必然符合信息准则。

 

信息量的增加、网络化和数据挖掘技术的进步形成了正反馈效应,新知识的创造周期缩短,人类社会的发展还在加速往前迈进。放在开放平台上的数据能被深度挖掘,从而变成有用的信息。更多有效信息的传播通常能使社会运行更加高效。

 

另外,开放数据平台还能起到激发创新的作用。纽约的实践已经证明,开放数据平台会吸引大量高科技人才和企业的关注,激发前沿的创新和应用。虽然成立仅有一年,但围绕着纽约开放数据平台而产生的应同样,在国内资本市场,也诞生了一批大数据相关的上市公司。例如拓尔思,专注与非结构化信息处理,提供企业非结构化信息搜索系统、舆情监控系统、竞争情报系统;荣之联,生物行业数据处理服务供应商,为华大基因设计、建设和维护位于深圳和香港的生物信息超算中心,成功地解决了基因测序形成的海量数据在并行计算和存储等方面的难题。

 

 

归信息化的趋势下,市场变革之快远超人们想象。企业竞争从原来的领域内竞争演进成跨界的竞争。即使原来是非专业的,创新仍能帮助其颠覆传统的商业模式和交易关系,先发优势被弱化。在过去几年,互归信息化,改变了企业竞争的格局,使得行业的边界变得更模糊,更多的跨界竞争出现。市场格局变化极快,推动创新的涌现。

 

 

前面我们已经指出,社会发展的终极理想状态应该是网络化的分散布局,所有的消费者都是生产者,每个人都“自给自足”,需求与其产出相等。人们拥有各自的技能,一定数量的人群通过致密的网络连接起来,利用各自技能相互合作生产出特定的商品。商品的生产归信息化,商品信息价值比重最大,生产过程对环境影响最小。在这种情况下,人们依然需要通过交换各自生产的产品来满足生理和心理的消费需求,因此货币对人类社会仍然是必需的。

 

那么未来社会货币的表现形式到底是什么样的呢?这里我们大胆假设,认为未来货币应该以(细分单位化的)寿命的形式表现出来,理由如下:

(1)人的生长和生活需要负熵维持,可以认为人获得的负熵总量越多,人的寿命就会越长,因此人获得的负熵总量与寿命长度之间存在一个线性关系。

(2)未来社会由于高度网络化(充分沟通,无信息鸿沟)和归信息化(物质和能量等消耗最小),商品的配置格局几乎最优,不会出现供需不平衡,商品价格等同于商品价值。商品是价值的载体,它承载有序或负熵,因此可以用寿命衡量商品价值,从而寿命可以成为货币以帮助人们进行商品交换。

(3)人的寿命作为货币时,人生产的商品卖出后获得寿命的增加,买入商品消费后使得寿命减少。终其一生,生产获得的寿命与消费的寿命相等,满足我们前面关于未来社会每个人生产和消费的商品价值相等的预测。

(4)寿命作为货币可以使得市场上的货币总量随着人类社会和经济系统的变化而相应自适应变化。

(5)寿命作为货币,其发行是分散布局的,每个人都有发行的权利,避免了货币集中发行的缺点。

(6)人们可以通过不断地创造价值来获得寿命增加,从而只要愿意,人类可以长生不老,符合人类永生的终极追求。

 

 

我们预言未来货币的发展趋势将是去中心化,最好实现去货币化。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章