力场启发的扩散模型
本文将介绍两篇论文，巧妙地通过力场的思想去构建扩散模型。出品自MIT，作者包括KAN一作刘子鸣等，（但对于KAN那篇，个人认为噱头大于实用性。）
贝叶斯中间态作为加噪：Bayesian Flow Networks
Bayesian Flow Networks是由Alex Graves提出的，使用贝叶斯技巧关于生成的模型算法。 2023年，我就看到了这篇论文，但由于篇幅过长、数学推导较多难以理解、无闲暇时间，最终拖到两年后的今天，才决定动手写写自己的理解。 此文写法并不算太好，据闻youtube上也有说此文晦涩的评论。文中Alice&Bob发生和接收的意图从“趣味”入手的案例反而加难了初学者对论文的理
Diffusion Model
Difussion模型是当今生成领域火热的模型，过往的GAN和VAE已然退出前排。 本文主要围绕《Denoising Diffusion Probabilistic Models》 (DDPM) 展开。
消息传递与特征变换分离的图神经网络
在研究图神经网络的鲁棒性的时候，发现消息传递和特征变化分离开会更有鲁棒性，但未找到是否有前人做过。后来我才发现这正是PPNP的结构。 PPNP PPNP（personalized propagation of neural predictions）出自ICLR2019的《 Predict then Propagate: Graph Neural Networks meet Personalized
Target Encoding
target encoding又名mean encoding。正如其名，实际上是把。 在kaggle的S5E2和这个月正在进行的S5E4等比赛都获得了耀眼的表现。 最简单的形式是 1df.groupby("xxx").mean() 注意到，有多个库提供了“target encoder”，但它们实际上并不是完全同一个东西。 sklearn中的相当于category_encoder
ICLR25 Oral 若干（感兴趣）论文解析
ICLR25这几天在新加坡进行，借着兴致，选择了若干篇感兴趣的文章进行分享。本着能复现的原则，会尽量选择有代码或者实现容易的论文。 Joint Graph Rewiring and Feature Denoising via Spectral Resonance 论文地址: https://openreview.net/forum?id=zBbZ2vdLzH 代码: https://github.
Muon优化器
近日，Moonshot开源了改进版 Muon 优化算法及用 Muon 训练的SOTA级的MoE小模型。开启了Muon在大模型应用的局面。也许新的优化器时代即将到来！ PS：像谷歌23年提出的Lion（EvoLved Sign Momentum）优化器也号称比AdamW好，但是缺乏在大模型上的成功实验，大多数人还是选择Adam/AdamW。
MoBA vs NSA
Kimi公开了他们处理长文的秘密了。团队提出了MoBA (Mixture of Block Attention) ，解决了传统注意力机制在处理长文本时的效率问题。 DeepSeek 发布了一篇新论文，提出了一种改进版的注意力机制 NSA（Native Sparse Attention），加上还有创始人兼 CEO 梁文锋亲自参与。