信息瓶颈与在图中的应用
Information Bottleneck又称信息瓶颈，是一个基于信息论的算法。
MambaOut-Do We Really Need Mamba for Vision?
mamba是继transformer之后大火的结构之一。也涌现了各种mamba，各种领域的mamba。本博客之前也介绍了这一算法。 出自NUS的Weihao Yu, Xinchao Wang等人提出了纯卷积的mamaout意图打败mamba。 MambaOut 模型在 ImageNet 图像分类上超越了所有视觉 Mamba 模型，表明 Mamba 对于该任务确实是不必要的。至于检测和分割，Mamb
Graph-MLP--Node Classification without Message Passing in Graph
《Graph-MLP: Node Classification without Message Passing in Graph》【arxiv 2021】 最近的图神经网络（GNN）都依赖于邻接矩阵来指导特征聚合过程中邻居之间的消息传递，研究工作主要集中在强大的消息传递模块上。然而本文表明没有任何消息传递模块也是可行的。相反地，本文通过设计了一个邻近对比（NContrast）损失，通过隐式利用邻接
RNN与注意力
2014年，Volodymyr的《Recurrent Models of Visual Attention》一文中首先将注意力其应用在视觉领域，后来伴随着2017年Ashish Vaswani的《Attention is all you need》中Transformer结构的提出，注意力机制大成。 在注意力机制中，除去耳熟能详的SENet和CBAM，也有一些主动去学习注意区域的网络算法。 比如以
FINDING ADVERSARIALLY ROBUST GRAPH LOTTERY TICKETS
《FINDING ADVERSARIALLY ROBUST GRAPH LOTTERY TICKETS 》NeurIPS 2023&ICLR 2024
光电与概念漂移
这部分的论文比较少，且难找。 主要介绍以下三篇论文： 论文一： 《Online prediction of photovoltaic power considering concept drift》