图片

四月，arXiv上出现了一篇题为《KAN: Kolmogorov-Arnold Networks》的论文。该论文得到约5000个赞，关于一篇学术论文来说，可谓是相称火爆。随附的GitHub库已有7600多个星标，且数字还在合手续增长。

图片

Kolmogorov-Arnold 网罗（KAN）是一种全新的神经网罗构建块。它比多层感知器（MLP）更具抒发力、更不易过拟合且更易于讲解。多层感知器在深度学习模子中无处不在。举例，咱们知说念它们被用于GPT-2、3以及（可能的）4等模子的Transformer模块之间。对MLP的改造将对机器学习天下产生粗莽的影响。

MLP推行上是一种尽头陈旧的架构，可以回首到50年代。其想象初志是师法大脑结构；由很多互联的神经元构成，这些神经元将信息上前传递，因此得名前馈网罗（feed-forward network）。

图片

MLP频频通过访佛上图的暗示图来展示。关于生人来说，这很有效，但在我看来，它并莫得传达出真确正在发生的事情的潜入集会。用数学来表露它要容易得多。

假定有一些输入x和一些输出y。一个两层的MLP将如下所示：

图片

其中W是可学习权重的矩阵，b是偏差向量。函数f是一个非线性函数。看到这些方程，很彰着，一个MLP是一系列带有非线性断绝的线性总结模子。这是一个尽头基本的开荒。

尽管基本，但它抒发力极强。罕有学保证，MLP是通用迫临器，即：它们可以迫临任何函数，访佛于扫数函数齐可以用泰勒级数来表露。

为了磨砺模子的权重，咱们使用了反向传播（backpropagation），这要归功于自动微分(autodiff)。我不会在这里深入接洽，但伏击的是要自若自动微分可以对任何可微函数起作用，这在背面会很伏击。

MLP的问题

MLP在粗莽的用例中被使用，但存在一些严重的漏洞。

因为它们当作模子极其天真，可以很好地顺应任何数据。斥逐，它们很可能过拟合。

模子中时时包含大齐的权重，讲解这些权重以从数据中得出论断变得尽头贫苦。咱们常说深度学习模子是“黑盒”。

领有大齐的权重还意味着它们的磨砺可能会很长，GPT-3的大部分参数齐在MLP层中。

Kolmogorov-Arnold 表露定理

Kolmogorov-Arnold 表露定理的目的访佛于守旧MLP的通用迫临定理，但前提不同。它骨子上说，任何多变量函数齐可以用1维非线性函数的加法来表露。举例：向量v=(x1， x2)的除法运算可以用对数和指数代替：

图片

为什么这会有效呢？这究竟完了了什么？

这为咱们提供了一种不同但省略的范式来入手构建神经网罗架构。作家宣称，这种架构比使用多层感知器（MLP）更易于讲解、更高效地使用参数，况兼具有更好的泛化才气。在MLP中，非线性函数是固定的，在磨砺历程中从未改换。而在KAN中，不再有权重矩阵或偏差，唯有顺应数据的一维非线性函数。然后将这些非线性函数相加。咱们可以堆叠越来越多的层来创建更复杂的函数。

B样条（B-splines）

在KAN中表露非线性的方法中有少量伏击的是需要自若的。与MLP中明确界说的非线性函数（如ReLU()、Tanh()、silu()等）不同，KAN的作家使用样条。这些基本上是分段多项式。它们源自计较机图形规模，在该规模中，过度参数化并不是一个问题。

样条贬责了在多个点之间平滑插值的问题。若是你熟习机器学习表面，你会知说念要在n个数据点之间无缺插值，需要一个n-1阶的多项式。问题是高阶多项式可能变得尽头蜿蜒，看起来回击滑。

图片

10个数据点被一个9阶多项式无缺拟合

通过将分段多项式函数顺应于数据点之间的部分，样条贬责了这个问题。这里咱们使用三次样条。

图片

三次样条插值更好，但不成泛化

关于三次样条（样条的一种类型），为了确保平滑，需要在数据点(或结点)的位置对一阶和二阶导数开荒胁制。数据点两侧的弧线必须在数据点处具有匹配的一阶导数和二阶导数。

KAN使用的是B样条，另一种类型的样条，具有局部性（转移一个点不会影响弧线的合座神志）和匹配的二阶导数（也称为C2连气儿性）的特质。这么作念的代价是推行上不和会过这些点（除了在顶点情况下）。

图片

3条B样条对应5个数据点。自若弧线是怎样欠亨过数据点的。

在机器学习中，出奇是在愚弄于物理学时，亚洲色图校园春色不经过每一个数据点是可以领受的，因为咱们预测测量会有噪声。

这等于在KAN的计较图的每一个边际发生的事情。一维数据用一组B样条进行拟合。

因此，当今咱们在计较图的每个边际齐有一个分段的参数弧线。在每个节点，这些弧线被乞降：咱们之前看到，可以通过这种方法迫临任何函数。

图片

为了磨砺这么的模子，咱们可以使用范例的反向传播。在这种情况下，作家使用的是LBFGS（Limited-memory Broyden-Fletcher-Goldfarb-Shanno），这是一种二阶优化措施（与Adam这种一阶措施比拟）。另一个需要自若的细节是：在每个代表一维函数的边上，有一个B样条，但作家还增多了一个非线性函数：silu函数。

图片

对此的讲解不是很了了，但很可能是由于梯度清除（这是我的意象）。

我算计打算使用作家提供的代码，它运行得尽头出色，有很多示例可以匡助咱们更好地集会它。

他们使用由以下函数生成的合成数据：

图片

界说模子

model = KAN(width=[2，5，1]， grid=5， k=3， seed=0)

这里界说了三个参数：

宽度，其界说方法与多层感知器（MLP）访佛：一个列表，其中每个元素对应一个层，元素值是该层的宽度。在这种情况下，有三层；输入维度为2，有5个荫藏维度，输出维度为1

网格与B样条关连，它描写了数据点之间的网格可以有多致密。增多这个参数可以创建更多蜿蜒的函数。

k是B样条的多项式阶数，一般来说，三次弧线是个可以的聘请，因为三次弧线对样条有很好的属性。

seed，立时种子：样条的权重用高斯噪声立时启动化（就像在老例MLP中相似）。

磨砺

model.train(dataset， opt="LBFGS"， steps=20， lamb=0.01， lamb_entropy=10.0)

该库的API尽头直不雅，咱们可以看到咱们正在使用LBFGS优化器，磨砺20步。接下来的两个参数与网罗的正则化关连。

磨砺后的下一步是修剪模子，这会移除低于关连性阈值的边和节点，完成后提倡从头磨砺一下。然后将每个样条边调遣为记号函数（log、exp、sin等）。这可以手动或自动完成。库提供了一个极好的用具，借助model.plot()措施可以看到模子里面的情况。

# Code to fit symbolic functions to the fitted splinesif mode == "manual":    # manual mode    model.fix_symbolic(0， 0， 0， "sin")    model.fix_symbolic(0， 1， 0， "x^2")    model.fix_symbolic(1， 0， 0， "exp")elif mode == "auto":    # automatic mode    lib = ["x"， "x^2"， "x^3"， "x^4"， "exp"， "log"， "sqrt"， "sin"， "abs"]     model.auto_symbolic(lib=lib)

一朝在每个边上开荒了记号函数，就会进行最终的再磨砺，以确保每个边的仿射参数是合理的。

通盘磨砺历程不才面的图表中总结。

图片

使用KAN进行记号总结的示例。图片来自论文。

完整的磨砺代码如下所示：

# Define the modelmodel = KAN(width=[2， 5， 1]， grid=5， k=3， seed=0)# First trainingmodel.train(dataset， opt="LBFGS"， steps=20， lamb=0.01， lamb_entropy=10.0)# Prune edges that have low importancemodel = model.prune() # Retrain the pruned model with no regularisationmodel.train(dataset， opt="LBFGS"， steps=50) # Find the symbolic functionsmodel.auto_symbolic(lib=["x"， "x^2"， "x^3"， "x^4"， "exp"， "log"， "sqrt"， "sin"， "abs"])# Find the afine parameters of the fitted functions without regularisationmodel.train(dataset， opt="LBFGS"， steps=50) # Display the resultant equationmodel.symbolic_formula()[0][0] # Print the resultant symbolic function

模子中有相称多的超参数可以诊治。这些可以产生尽头不同的斥逐。举例，在上头的示例中：将荫藏神经元的数目从5改为6意味着KAN找不到正确的函数。

在机器学习中，“超参数”（hyperparameters）是指那些在学习历程入手之前需要开荒的参数。这些参数收尾着磨砺历程的各个方面，但它们并不是通过磨砺数据自动学习得到的。超参数的开荒对模子的性能和遵守有着伏击的影响。

图片

由KAN[2，6，1]找到的斥逐函数

这种变化性是预期的，因为这种架构是全新的。花了几十年时辰，东说念主们才找到了诊治MLP超参数（如学习率、批大小、启动化等）的最好方法。

MLP依然存在很万古辰了，早该升级了。咱们知说念这种改换是可能的，大略6年前，LSTMs在序列建模中无处不在，自后被transformers当作范例的谈话模子架构构建块所取代。若是MLP也能发生这种变化，那将是令东说念主甘心的。另一方面，这种架构仍然不知道，而且运行成果并不黑白常出色。时辰将告诉咱们，否能找到一种措施来绕过这种不知道性并开释KAN的真确后劲，或者KAN是否会被淡忘，成为机器学习的一个小常识点。

我对这种新架构感到尽头甘心【MDED-445】パワー・セックス LISA2005-08-13ムーディーズ&$MOODYZ NEW124分钟，但我也合手怀疑作风。