最大率失真（Maximal Coding Rate Reduction）是马毅组的作品。用于构建可解释性的神经网络。 马毅教授自称”弄明白了深度学习“，并把这一套理论命名为Deep (Convolution) Networks from First Principles。可以看出是比较大的名头。

《Learning Graph Neural Networks with Noisy Labels （arxiv 2019)》 Motivation：标签噪声使泛化差距（测试准确率下降，训练准确率不变）增加。

出自Anthropic’s transformer circuits thread Softmax Linear Units Softmax 在本文中，我们报告了一种架构变化，该变化似乎大大增加了看起来“可解释”的 MLP 神经元的比例（即响应输入的可表达属性），而对 ML 性能的影响很小甚至没有。具体来说，我们用 softmax 线性单元（我们称之为 SoLU）替换激活函数，并表明这显着增加了

本文将介绍一系列的图彩票论文。 《a unified lottery ticket hypothesis for graph neural networks(2021ICML).pdf》 相关工作 Lottery Ticket Hypothesis 该论文首先提到了ICLR 2019最佳论文:The Lottery Ticket Hypothesis: Finding Sparse, Train

Information Bottleneck又称信息瓶颈，是一个基于信息论的算法。

mamba是继transformer之后大火的结构之一。也涌现了各种mamba，各种领域的mamba。本博客之前也介绍了这一算法。 出自NUS的Weihao Yu, Xinchao Wang等人提出了纯卷积的mamaout意图打败mamba。 MambaOut 模型在 ImageNet 图像分类上超越了所有视觉 Mamba 模型，表明 Mamba 对于该任务确实是不必要的。至于检测和分割，Mamb

《Graph-MLP: Node Classification without Message Passing in Graph》【arxiv 2021】 最近的图神经网络（GNN）都依赖于邻接矩阵来指导特征聚合过程中邻居之间的消息传递，研究工作主要集中在强大的消息传递模块上。然而本文表明没有任何消息传递模块也是可行的。相反地，本文通过设计了一个邻近对比（NContrast）损失，通过隐式利用邻接

2014年，Volodymyr的《Recurrent Models of Visual Attention》一文中首先将注意力其应用在视觉领域，后来伴随着2017年Ashish Vaswani的《Attention is all you need》中Transformer结构的提出，注意力机制大成。 在注意力机制中，除去耳熟能详的SENet和CBAM，也有一些主动去学习注意区域的网络算法。 比如以

《FINDING ADVERSARIALLY ROBUST GRAPH LOTTERY TICKETS 》NeurIPS 2023&ICLR 2024

prompt压缩技术可以减少输入prompt的长度，同时保持各种任务的性能。