球的体积和面积

在我们所熟知的二维、三维空间中,一个向量是善于被理解的。但是对于数据空间,例如 的一个参数,往往就是相当大维度空间的一个向量。为了理解庞大数据空间中的分布,也许选取一个漂亮的对象(object,当然选取一个漂亮的对象也很好)是研究的好的起点。

正如物理中的 真空球形鸡 ,球具有相当好的性质。从此入手也许简单。

我们考察球的参数,以期找到规律:

二维的单位圆:
三维的单位球:

利用小学二年级大约的确做过的找规律, 在这里成立。为何如此呢,体积是面积再加上一层 ,所以 则是某种意义上求导得到的结果,则是一个很不错的解释。但我们最好能够给出证明。

体积的计算,无非是积分,又根据我们在二维和三维所得到的经验,换为极坐标是便于计算的,那么高维的极坐标如何呢?依旧找规律。

二维

三维

一方面, 次数的升高,这就是升维的结果,相当合理,此外的部分则完全没动,除了 变成了立体角 ,那么在高维,有一个神秘的立体角 当然也应该能够充当这个系数,换言之

那么因为 和 无关,就直接得到

也就是说我们的猜测相当合理。那如何具体算出来 ,或者 呢?这确实没那么好想了。前面的区域,以后再来探索吧~

高维空间中的点们

样本我们可以视作随机分布的点,最常用的假设也就是高斯分布了。

概率论的 Lemma

研究这些样本点分布,大约逃不开大数定理,从而绕不开 Chebyshev,Markov

Markov’s inequality

这里要求 非负。这描述了尾部概率的上界。具体证明只需要两个简单的放缩:

第一个不等号因为被积函数的非负,第二个不等号因为被积区域的 。移项就得到结论。

Chebyshev’s inequality

利用方差能够给出一个随机变量到期望的偏移的约束。形式上这很像 ,实际上也是如此证明的:绝对值满足了非负性,再平方自然也满足非负性,注意到 ,那么自然的想法就是令新的随机变量 ,则:

这实际上也就是要证明的形式。

Law of Large Numbers

考虑随机变量的若干取值 ,那么他们的均值不应该偏离期望太多,尤其是 较大的时候,定量的,实际上有

这就长得非常像 Chebyshev 了,我们做等价变换,利用期望的线性:

左式

这就可以用 Chebyshev 了

上式

再结合

就得到了结论

反直觉的现象

质量分布在边缘的 bubble

不论二维或是三维,似乎高斯分布的大部分面积或是体积都在 0 附近,但是我们可以如下计算期望为 0 ,方差为 1 的高维高斯分布。

那么到原点的距离期望也就是 ,那么根据大数定理

换言之,大部分的点都落在 附近,像一个泡泡,而并不如直觉那般在中心。

另一种更直接的办法是,考虑

那么固定 ,也就有, 足够大时,缩小一点点范围体积就趋于 0 了。

任意两点几乎都等距正交

同样地,我们考虑随机变量 ,那么其期望为 0 , 方差为 2 ,从而

也就是说近似有

可知几乎等距,又由二者到原点几乎都是 ,由勾股定理也即可见几乎正交

着实相当有趣,尽管 unintuitive 。

高维球的体积

尽管解锁了一些有趣的事实,体积我们仍不会算。但是想到概率,既然假定了高斯分布,我们也就能算概率,无非是个积分,舍弃不那么容易记住的归一化系数,总之要算

这也就是伽马函数的形式

那还有个 不会算呢,也许得另辟蹊径,直接走直角坐标

由于独立性,这实际上可以拆成

这个积分我们实际上熟悉,可以平方后转极坐标处理,结果是 ,那么我们忽而得到一个等式

两种概率的算法,我们通过算两次发现了

相当漂亮,那么也就知道了

也可以利用伽马函数的递推性质写干净一点

算算维度超级大会怎么样,我们考虑极限,那么只需要考虑

阶乘更高阶,所以 会趋于 0。也是一件反直觉的神奇的事情。

虽然不知道和信息科学有什么关系,总之挺好玩。