思想验证区域(The Community)人物介绍 第三届青龙最佳综艺作品**《思想验证区域:The Community》,是一档汇集了12名不同理念人们的政治生存类综艺**,参与者皆为来自各行业的素人,男女各占一半,分别从政治、性别、阶级、开放性这四个领域划分了属性。 测试链接:https://thecommunity.co.kr/ 为了方便,记录人物介绍。 2024-08-30
利用物理知识进行预测的机器学习综述 《Machine Learning with Physics Knowledge for Prediction: A Survey》 36页的综述,还是比较详细的。 这项调查研究了将机器学习与物理知识相结合进行预测的广泛方法和模型,重点关注偏微分方程。这些方法引起了人们的极大兴趣,因为它们通过使用小型或大型数据集改进预测模型以及具有有用归纳偏差的表达预测模型,对推进科学研究和工业实践产生潜在影响 2024-08-28 #深度学习 #人工智能 #物理
Classifying Nodes in Graphs without GNNs 图神经网络(GNN)是对图中节点进行分类的主要范例,但它们具有一些源于其消息传递架构的不良属性。最近,蒸馏方法成功地消除了测试时 GNN 的使用,但在训练期间仍然需要它们。作者提出了一种完全无 GNN 的节点分类方法,在训练或测试时不需要它们。该方法由三个关键部分组成:平滑约束、伪标签迭代和邻域标签直方图。 2024-08-24 #深度学习 #人工智能 #图神经网络
RW-NSGCN:通过负采样进行结构性攻击的稳健方法 论文地址 图结构网络通常包含拓扑扰动和权重扰动形式的潜在噪声和攻击,这可能导致 GNN 的分类性能下降。为了提高模型的鲁棒性,该论文提出了一种新方法:随机游走负采样图卷积网络(RW-NSGCN)。具体来说,RW-NSGCN 集成了用于负采样的随机游走(RWR)和 PageRank(PGR)算法,并采用基于行列式点过程(DPP)的 GCN 进行卷积运算。 RWR 利用全局和局部信息来管理噪声和局部变 2024-08-14 #人工智能 #图神经网络
CAAFE-将大型语言模型与半自动化数据科学的表格预测器相结合 CAAFE这是一种针对表格数据集的特征工程方法,该方法利用LLM基于数据集的描述,迭代地为表格数据集生成附加的语义上有意义的特征。该方法生成用于创建新功能的 Python 代码以及对所生成功能的实用程序的解释。尽管方法简单,但 CAAFE 提高了 14 个数据集中的 11 个的性能 - 将所有数据集的平均 ROC AUC 性能从 0.798 提高到 0.822 - 类似于在我们的数据集上使用随机森 2024-08-11 #机器学习 #深度学习 #表格学习
最大率失真与图上的应用 最大率失真(Maximal Coding Rate Reduction)是马毅组的作品。用于构建可解释性的神经网络。 马毅教授自称”弄明白了深度学习“,并把这一套理论命名为Deep (Convolution) Networks from First Principles。可以看出是比较大的名头。 2024-07-08 #深度学习 #图神经网络
图鲁棒性论文速览 《Learning Graph Neural Networks with Noisy Labels (arxiv 2019)》Motivation:标签噪声使泛化差距(测试准确率下降,训练准确率不变)增加。 2024-06-29 #深度学习 #图神经网络
Softmax Linear Units Softmax 出自Anthropic’s transformer circuits thread Softmax Linear Units Softmax 在本文中,我们报告了一种架构变化,该变化似乎大大增加了看起来“可解释”的 MLP 神经元的比例(即响应输入的可表达属性),而对 ML 性能的影响很小甚至没有。具体来说,我们用 softmax 线性单元(我们称之为 SoLU)替换激活函数,并表明这显着增加了 2024-06-05 #深度学习 #可解释性
图彩票论文速览 本文将介绍一系列的图彩票论文。 《a unified lottery ticket hypothesis for graph neural networks(2021ICML).pdf》相关工作Lottery Ticket Hypothesis该论文首先提到了ICLR 2019最佳论文:The Lottery Ticket Hypothesis: Finding Sparse, Trainabl 2024-05-21