本文将介绍facebook/meta出品的DINOv1~v3。 DINO = Self-distillation with no labels

（ACL 2025） 目前存在多种幻觉检测方法。主流方法通过一致性检查或参考对比分析生成结果 (对比解码等)，而基于概率的方法则关注 Logit概率的不确定性。 另一种方法是检查大语言模型各层中的隐状态（例如嵌入向量）以检测幻觉 。基于输出或 Logit 概率的方法通常需要真实值参考或多次生成以保证一致性。相比之下，基于隐状态的检测方法具有无需参考的优势，无需依赖外部资源。 当前基于隐状态的幻觉检

Gram矩阵介绍给定一个内积空间中的一组向量 v1,v2,…,vn，它们的Gram矩阵 G 是一个n×n的方阵，其元素 Gij 定义为向量 vi 和 vj 的内积。

ICL (In-Context Learning)是一种在不更新模型参数（即不进行梯度下降或微调）的情况下，通过在输入（即“上下文”）中提供少量示例来指导模型完成特定任务的能力的方法。

（ICLR 2025）

（NeurIPS 2024）

(ECCV 2024 Oral)

（arxiv 2025）2507.20096 众所周知，注意力为$softmax(\frac{QK^T}{\sqrt{D_k}})V$。

（arxiv 2025） 《Trainable Dynamic Mask Sparse Attention》 Smalldoge出品，该组织专注于小型语言模型，专注于效率和易用性。

视觉-语言预训练模型(VLP安全) 共41篇论文。