5%>100%-Breaking Performance Shackles of Full Fine-Tuning on Visual Recognition Tasks 算是adapter的改进。5%>100%指的是微调(参数只有5%)大于全量。 2025-05-22 #深度学习
模型参数与标签无关的模型 我们可以减轻标签的作用吗? 完全舍弃标签?这也太疯狂了,而且显然这样会学不到什么。所以我们可以折中一下,使模型为$\hat y=f(S,y)$,即S是训练后的、与标签无关的。有点类似于之前提过的PMLP,我们在训练中不使用邻接矩阵,但是测试的时候加上。 听起来可能依旧荒谬,但回想一下线性模型,对于$\hat{y}=Xw$,最佳权重可以写成$w=(X^TX)^{-1}X 2025-05-21 #机器学习 #深度学习
MCMC之前尘后事 MCMC即马尔可夫链蒙特卡罗(Markov Chain Monte Carlo, MCMC),是一类在统计学和机器学习等领域广泛应用的强大算法。 2025-05-20 #概率论 #机器学习
18岁的AI天文学家 “18岁美国高中生Matteo Paz利用AI分析NASA的2000亿条数据,发现150万个隐藏天体”(来自公众号)。 该项目与其中一篇论文相关——《A Submillisecond Fourier and Wavelet-based Model to Extract Variable Candidates from the NEOWISE Single-exposure Database》,发表 2025-05-18 #深度学习 #人工智能 #天文
Graph Neural Networks with Learnable Structural and Positional Representations 该论文在拉普拉斯PE的基础上,新的可学习节点位置编码(PE),用于图嵌入。 (ICLR 2022) 2025-05-17 #深度学习 #图神经网络
(几乎涵盖一切的)表示学习统一框架 I-Con (I-Con: A Unifying Framework for Representation Learning ,ICLR 2025)是第一个将监督学习、对比学习、聚类和降维目标统一到一个损失函数下的框架,从kmeans、TSNE到SimCLR、CLIP都能统一到一起。 2025-05-15 #深度学习 #人工智能
随机块模型 在笔者之前研究图神经网络的时候,一直苦于难以使用数学去之间建模图数据。但似乎这一切有了转机,笔者最近发现了一种特殊的分析方法来分析GNN,对此这就不得不读了。 2025-05-13 #深度学习 #图神经网络
同质性对图神经网络是必需的吗? 出自《Is homophily a necessity for graph neural networks? 》ICLR, 2022. GNNs 通常被认为由于同质性假设(“物以类聚”)而工作良好,但在异质性图中(不同节点相连)泛化能力较差。 这篇论文则认为,如果图中的同一类的结点具有相似的邻居的分布, 则 Homophily 不是必须的。 2025-05-12 #深度学习 #图神经网络