到底什么是熵？
shāng
〈名〉
物理名词,用温度除热量所得的商,标志热量转化为功的程度 [entropy]
物理意义：物质微观热运动时，混乱程度的标志。
热力学中表征物质状态的参量之一,通常用符号S表示。在经典热力学中，可用增量定义为dS＝(dQ/T)，式中T为物质的热力学温度;dQ为熵增过程中加入物质的热量；下标“可逆”表示加热过程所引起的变化过程是可逆的。若过程是不可逆的,则dS＞(dQ/T)不可逆。单位质量物质的熵称为比熵,记为s。熵最初是根据热力学第二定律引出的一个反映自发过程不可逆性的物质状态参量。热力学第二定律是根据大量观察结果总结出来的规律，有下述表述方式：①热量总是从高温物体传到低温物体，不可能作相反的传递而不引起其他的变化；②功可以全部转化为热，但任何热机不能全部地、连续不断地把所接受的热量转变为功（即无法制造第二类永动机）；③在孤立系统中,实际发生的过程,总使整个系统的熵值增大，此即熵增原理。摩擦使一部分机械能不可逆地转变为热，使熵增加。热量dQ由高温(T1)物体传至低温(T2)物体,高温物体的熵减少dS1=dQ/T1,低温物体的熵增加dS2=dQ/T2,把两个物体合起来当成一个系统来看,熵的变化是dS＝dS2－dS1＞0，即熵是增加的。
◎ 物理学上指热能除以温度所得的商，标志热量转化为功的程度。
◎ 科学技术上泛指某些物质系统状态的一种量（liàng）度，某些物质系统状态可能出现的程度。亦被社会科学用以借喻人类社会某些状态的程度。
◎ 在信息论中，熵表示的是不确定性的量度。
1.只有当你所使用的那个特定系统中的能量密度参差不齐的时候，能量才能够转化为功，这时，能量倾向于从密度较高的地方流向密度较低的地方，直到一切都达到均匀为止。正是依靠能量的这种流动，你才能从能量得到功。
江河发源地的水位比较高，那里的水的势能也比河口的水的势能来得大。由于这个原因，水就沿着江河向下流入海洋。要不是下雨的话，大陆上所有的水就会全部流入海洋，而海平面将稍稍升高。总势能这时保持不变。但分布得比较均匀。
正是在水往下流的时候，可以使水轮转动起来，因而水就能够做功。处在同一个水平面上的水是无法做功的，即使这些水是处在很高的高原上，因而具有异常高的势能，同样做不了功。在这里起决定性作用的是能量密度的差异和朝着均匀化方向的流动。
熵是混乱和无序的度量.熵值越大,混乱无序的程度越大. 我们这个宇宙是熵增的宇宙.热力学第二定律,体现的就是这个特征. 生命是高度的有序,智慧是高度的有序. 在一个熵增的宇宙为什么会出现生命?会进化出智慧?(负熵) 热力学第二定律还揭示了, 局部的有序是可能的,但必须以其他地方更大无序为代价. 人生存,就要能量,要食物,要以动植物的死亡(熵增)为代价. 万物生长靠太阳.动植物的有序, 又是以太阳核反应的衰竭(熵增),或其他的熵增形势为代价的. 人关在完全封闭的铅盒子里,无法以其他地方的熵增维持自己的负熵. 在这个相对封闭的系统中,熵增的法则破坏了生命的有序. 熵是时间的箭头,在这个宇宙中是不可逆的. 熵与时间密切相关,如果时间停止"流动",熵增也就无从谈起. "任何我们已知的物质能关住"的东西,不是别的,就是"时间". 低温关住的也是"时间". 生命是物质的有序"结构"."结构"与具体的物质不是同一个层次的概念. 就象大厦的建筑材料,和大厦的式样不是同一个层次的概念一样. 生物学已经证明,凡是到了能上网岁数的人, 身体中的原子,已经没有一个是刚出生时候的了. 但是,你还是你,我还是我,生命还在延续. 倒是死了的人,没有了新陈代谢,身体中的分子可以保留很长时间. 意识是比生命更高层次的有序.可以在生命之间传递. 说到这里,我想物质与意识的层次关系应该比较清楚了. 这里之所以将"唯物"二字加上引号. 是因为并不彻底.为什么熵减是这个宇宙的本质,还没法回答. （摘自人民网BBS论坛）
不管对哪一种能量来说，情况都是如此。在蒸汽机中，有一个热库把水变成蒸汽，还有一个冷库把蒸汽冷凝成水。起决定性作用的正是这个温度差。在任何单一的、毫无差别的温度下——不管这个温度有多高——是不可能得到任何功的。
“熵”(entropy)是德国物理学家克劳修斯(Rudolf Clausius, 1822 – 1888)在1850年创造的一个术语，他用它来表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀，熵就越大。如果对于我们所考虑的那个系统来说，能量完全均匀地分布，那么，这个系统的熵就达到最大值。
在克劳修斯看来，在一个系统中，如果听任它自然发展，那么，能量差总是倾向于消除的。让一个热物体同一个冷物体相接触，热就会以下面所说的方式流动：热物体将冷却，冷物体将变热，直到两个物体达到相同的温度为止。如果把两个水库连接起来，并且其中一个水库的水平面高于另一个水库，那么，万有引力就会使一个水库的水面降低，而使另一个水面升高，直到两个水库的水面均等，而势能也取平为止。
因此，克劳修斯说，自然界中的一个普遍规律是：能量密度的差异倾向于变成均等。换句话说，“熵将随着时间而增大”。
对于能量从密度较高的地方向密度较低的地方流动的研究，过去主要是对于热这种能量形态进行的。因此，关于能量流动和功－能转换的科学就被称为“热力学”，这是从希腊文“热运动”一词变来的。
人们早已断定，能量既不能创造，也不能消灭。这是一条最基本的定律；所以人们把它称为“热力学第一定律”。
克劳修斯所提出的熵随时间而增大的说法，看来差不多也是非常基本的一条普遍规律，所以它被称为“热力学第二定律”。
2.信息论中的熵：信息的度量单位：由信息论的创始人Shannon在著作《通信的数学理论》中提出、建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。
Shannon公式：I(A)=-logP(A)
I(A)度量事件A发生所提供的信息量，称之为事件A的自信息，P(A)为事件A发生的概率。如果一个随机试验有N个可能的结果或一个随机消息有N个可能值，若它们出现的概率分别为p1,p2,…，pN,则这些事件的自信息的平均值：
H=-SUM(pi*log(pi)),i=1,2…N。H称为熵。
熵
简单解释,就是说物体都是出于一种无序运动状态,而这种无序状态需要一个单位标准,就是熵,如果一个物体的分子根本不运动,那他的熵值为0,运动产生热能,所以熵于热密不可分,懂了没?
熵是很深奥的概念，这上面说不清建议看大学物理，有详细介绍和计算。
乱七八糟
熵的单位是什么?
比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。熵（英语：entropy）是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大...
该如何用物理学中的“熵”去解释生命的生和死?
物理学中的熵理论就是有一个一维性，物理学认为，我们现有的宇宙只有熵增没有下降，熵你可以简单的理解为一种无序的状态，无序值越高它的底越高。一个生命，一个环境，乃至说大的宇宙都是一个不断增长的过程。熵增理论意思就是一个环境，它本身越是混乱，他的熵从整个宇宙的角度来说，就是宇宙...
深度学习中的熵模型到底是啥
熵(Entropy)最初是来自热力学的一个概念，注意火字旁。本文谈论的熵是指信息熵，是香农(Claude Shannon)[1]借鉴热力学熵的公式定义的对信息的度量。组成客观世界的三大基本要素：物质、能量、信息。Without materials nothing exists. Without energy nothing happens. Without information nothing makes sense...
热力学系统的熵一定减小是正确的吗?
放热则dQ<0，从而dS<0，即系统的熵减少。但如果系统的粒子总数减少，则可以在不放热的情况下减小熵。熵的特性：信息熵具有以下两个物理含义：1.表示信源输出前，信源的平均不确定性。2.表示信源输出后，每个符号所携带的平均信息量。熵的单位同样取决于对数所取的底，若以2为底，单位为比特\/符号。
...其统计物理意义又为何?热力学第三定律能说明什么问题?
由于生活中每一个细节归根结底都是广义的物理过程,所以这个故事可以套用在任何地方。例如在社会生活中,规章制度越多、越细致入微,它就越是会拘泥于局部利益,而带来整体的巨大耗损,这就是法律法规上的熵增加。在购物上,琳琅满目意味着挑选、犹豫的时间大幅增加,但不同商品的本质区别完全无法得知,最终的取舍将只好交给...
学会这3种思维,让你轻松抵御熵增
任正非在《华为的冬天》开篇语中写道：毋容置疑，华为是成功的。可是，为什么任正非经常把“华为”和“失败”两个词关联起来呢？因为熵增定律。熵，是指混乱或无序。自然状态下，熵只会越来越大，就叫熵增定律。熵增定律也叫热力学第二定律。熵增定律不仅适用于企业，也适用于我们的事业和生活。比如...
抵抗生活中的“熵”
我们一定忽略了什么？这种东西在减肥中叫反弹，在学习中叫遗忘，而在热力学中，有一个定理完美的阐述了这样一个现象，这就是热力学第二定律。我们简单的看看，热力学第二定律讲了什么？简单地说就是， 在一个孤立系统中“熵”不会减少 。“熵”这个单位，反映的是事物的复杂程度，或者说混乱程度。也...
如何理解熵 决策树 统计学习方法中
2、熵和信息增益 对于某个指定决策树结点，熵是该结点所代表的全部类中，每个特定类的记录的比例乘以该比例以2为底的对数后的总和，一个拆分的熵就是该拆分产生的所有结点的熵按照每个结点的记录所占比例的加权和。例子：两课决策树，决策树1根节点包括10个正类，10个负类（总共20个样本），左叶节点...
信息熵和KL散度
熵在物理上是表示混乱程度，在信息论中，信息熵用以下方程表示,也就是对分布自信息的期望，单位取决于在计算中使用的对数的底：离散的表达式：若概率越为均匀分布，则熵越大，变量的不确定性越大，把它搞清楚所需要的信息量也就越大。如AvsB，A队的胜率为100%，则我们不需要任何信息都能搞清楚A队...
熵为什么小于logn
化的指标（详情参考wiki）。在信息论中，熵用来表示信息的不确定性的程度。什么是不确定性程度呢？简单地说，不确定性越多，我们就需要越多的信息来了解，信息越多，不确定性也就越大，比如我们需要搞清楚一件非常不确定的事，就需要大量的信息。举个例子，我们在和同学吃饭时偶尔会玩的猜数字游戏，...
冀询克尼： 熵是物理名词,就是用温度除热量所得的商,标志热量转化为功的程度,通常用符号S表示,可用增量定义为dS=(dQ/T),式中T为物质的热力学温度dQ为熵增过程中加入物质的热量.下标“可逆”表示加热过程所引起的变化过程是可逆的.若过程是不可逆的,则dS>(dQ/T)不可逆.单位质量物质的熵称为比熵,记为s. 熵是什么意思啊 热力学中表征物质状态的参量之一,用符号S表示,其物理意义是体系混乱程度的度量.熵的大小与体系的微观状态Ω有关,即S=klnΩ,其中k为玻尔兹曼常量,k=1.3807x10-23J·K-1.体系微观状态Ω是大量质点的体系经统计规律而得到的热力学概率,因此熵有统计意义,对只有几个、几十或几百分子的体系就无所谓熵.
四方台区13868773693： 什么是“熵”?我需要最准确的答案~ - ？
冀询克尼：[答案] 对于一个由大量粒子组成的体系 人们定义了一个物理量————熵 来描述体系的混乱程度 熵值越大 体系混乱度越大 在同一条件下 不同物质的熵不同而同一物质的熵 与其聚集状态及其外界条件有关 同一物质来说 熵 固体解析看不懂?免费查看同...
四方台区13868773693： 熵是什么?熵的定义是什么? - ？
冀询克尼：[答案] 熵是混沌《博弈圣经》中写道:熵是生物亲序,是行为携灵现象.时间和空间唯独不同的是,它总是向一个方向流动,从过去流向未来,这种不可逆的次序的边界上,时间的弹性软体里包裹着神秘的因果律.科学家已经发明了测量无序的量,它称作熵...
四方台区13868773693： 熵是什么?熵的定义是什么? - ？
冀询克尼： 熵是混沌《博弈圣经》中写道:熵是生物亲序,是行为携灵现象.时间和空间唯独不同的是,它总是向一个方向流动,从过去流向未来,这种不可逆的次序的边界上,时间的弹性软体里包裹着神秘的因果律.科学家已经发明了测量无序的量,它...
四方台区13868773693： 熵,这个字是什么意思? - ？
冀询克尼： 熵[shāng] 1.物理学上指热能除以温度所得的商,标志热量转化为功的程度. 2.科学技术上泛指某些物质系统状态的一种量(liàng)度,某些物质系统状态可能出现的程度.亦被社会科学用以借喻人类社会某些状态的程度.
四方台区13868773693： 熵是怎么回事? - ？
冀询克尼： 任何物质的熵在处于绝对零度时都等于0.通过可逆的、微小的、迟缓的变化,物质进入另一种不同的状态,其中自然包括分裂为两个或多个物理、化学性质不同的部分,或者改变了物质的化学或物理学性质, 这个时候熵的增加量就可以这样算出:发生在过程中的每一小步,物质都会吸收一定的热量才可以使得变化维持下去. 在此之中系统吸收的热量除以吸收热量时的绝对温度,最后把每一小步的结果加起来就可以得出我们想要的结果. 举个例子:熔解一种固体,它熔化时所需要的热量除以熔点温度就是它的熵增加量.因此,从计算公式中可以看出熵的单位是卡/摄氏度.
四方台区13868773693： 热学的熵是什么回是啊? - ？
冀询克尼：[答案] 熵 shāng ◎ 物理学上指热能除以温度所得的商,标志热量转化为功的程度. ◎ 科学技术上泛指某些物质系统状态的一种量(... 熵是混乱和无序的度量.熵值越大,混乱无序的程度越大.我们这个宇宙是熵增的宇宙.热力学第二定律,体现的就是这个特征....
四方台区13868773693： 什么是熵? - ？
冀询克尼： 熵是一个物理名词,用温度除热量所得的商,标志热量转化为功的程度.熵是描述热力学系统的重要态函数之一.熵的大小反映系统所处状态的稳定情况,熵的变化指明热力学过程进行的方向,熵为热力学第二定律提供了定量表述.从微观上说,熵是组成系统的大量微观粒子无序度的量度,系统越无序、越混乱,熵就越大;系统越有序,熵就越小.
四方台区13868773693： 熵是什么意思? - ？
冀询克尼： 熵是一个抽象的物理学量,是一个通过运算推导出来的量.其物理意义代表系统的无序程度.无序程度增加,熵增;反之熵减. 比如,蜡烛、冰块融化,化学中的分解反应,电离第一过程,乙醇和水混合等都是熵增加的过程.而与之相反的过程熵减.
