CAAFE这是一种针对表格数据集的特征工程方法，该方法利用LLM基于数据集的描述，迭代地为表格数据集生成附加的语义上有意义的特征。该方法生成用于创建新功能的 Python 代码以及对所生成功能的实用程序的解释。尽管方法简单，但 CAAFE 提高了 14 个数据集中的 11 个的性能 - 将所有数据集的平均 ROC AUC 性能从 0.798 提高到 0.822 - 类似于在我们的数据集上使用随机森

《Learning Graph Neural Networks with Noisy Labels （arxiv 2019)》 Motivation：标签噪声使泛化差距（测试准确率下降，训练准确率不变）增加。

[00:00.00]戀愛腦之死 - 陳健安 [00:01.29]詞：Oscar [00:01.77]曲：陳健安/賴映彤 [00:02.76]編曲：賴映彤 [00:03.49]監製：賴映彤/陳健安 [00:27.08]喜歡得轟烈 轟得開天門 [00:32.41]懶去管 萬千種批判 [00:40.18]喜歡得荒謬 若你也肯相伴 [00:45.40]能隨便 用一切交換 [00:53.01]可給

出自Anthropic’s transformer circuits thread Softmax Linear Units Softmax 在本文中，我们报告了一种架构变化，该变化似乎大大增加了看起来“可解释”的 MLP 神经元的比例（即响应输入的可表达属性），而对 ML 性能的影响很小甚至没有。具体来说，我们用 softmax 线性单元（我们称之为 SoLU）替换激活函数，并表明这显着增加了

本文将介绍一系列的图彩票论文。 《a unified lottery ticket hypothesis for graph neural networks(2021ICML).pdf》 相关工作 Lottery Ticket Hypothesis 该论文首先提到了ICLR 2019最佳论文:The Lottery Ticket Hypothesis: Finding Sparse, Train

mamba是继transformer之后大火的结构之一。也涌现了各种mamba，各种领域的mamba。本博客之前也介绍了这一算法。 出自NUS的Weihao Yu, Xinchao Wang等人提出了纯卷积的mamaout意图打败mamba。 MambaOut 模型在 ImageNet 图像分类上超越了所有视觉 Mamba 模型，表明 Mamba 对于该任务确实是不必要的。至于检测和分割，Mamb

《Graph-MLP: Node Classification without Message Passing in Graph》【arxiv 2021】 最近的图神经网络（GNN）都依赖于邻接矩阵来指导特征聚合过程中邻居之间的消息传递，研究工作主要集中在强大的消息传递模块上。然而本文表明没有任何消息传递模块也是可行的。相反地，本文通过设计了一个邻近对比（NContrast）损失，通过隐式利用邻接

2014年，Volodymyr的《Recurrent Models of Visual Attention》一文中首先将注意力其应用在视觉领域，后来伴随着2017年Ashish Vaswani的《Attention is all you need》中Transformer结构的提出，注意力机制大成。 在注意力机制中，除去耳熟能详的SENet和CBAM，也有一些主动去学习注意区域的网络算法。 比如以

《FINDING ADVERSARIALLY ROBUST GRAPH LOTTERY TICKETS 》NeurIPS 2023&ICLR 2024

prompt压缩技术可以减少输入prompt的长度，同时保持各种任务的性能。