计算复杂性, 启发式算法与解析式算法
P与NP问题 计算理论的核心问题是:哪些问题可以被高效解决?哪些问题本质上是难解的? 算法规模如何随问题规模扩展,也是计算机科学的基本原理,算法规模通过复杂度类(如P类、NP类)进行阐释: P类问题:可以在多项式时间(如 $O(n)$ 、$O(n \log n)$ 、$O(n^2)$ )内解决的问题(如排序、查找); NP类问题:可以在非确定性多项式时间(如 $O(2^n)$ )内解决...
P与NP问题 计算理论的核心问题是:哪些问题可以被高效解决?哪些问题本质上是难解的? 算法规模如何随问题规模扩展,也是计算机科学的基本原理,算法规模通过复杂度类(如P类、NP类)进行阐释: P类问题:可以在多项式时间(如 $O(n)$ 、$O(n \log n)$ 、$O(n^2)$ )内解决的问题(如排序、查找); NP类问题:可以在非确定性多项式时间(如 $O(2^n)$ )内解决...
大语言模型可能像一面镜子,实际反映的是使用者的智力水平,这构成了一种反向图灵测试。 传统图灵测试:通过自然语言对话判断机器是否具备人类智能(人类无法区分机器与真人)。 反向图灵测试:通过观察人类的反应来评估人类的智能水平。大语言模型在交互中会”映射”人类的思维特征,对话者的思维深度、提示质量越高,模型表现出的智能水平越显著。 提出好问题的能力尤其重要,同一个现象,不同人,提出的问题就不...
1.统一世界模型 在人类感知经验中,我们看到红色、听到红色,在大脑中会形成统一概念,指向同一个“红色”概念,这里红色可以换为其他任何感知对象,道理是一样的。人类的大脑就是一个统一强大的世界模型:你闭眼也能想象“打碎玻璃的声音”、“踩在雪地上的触感”。 2.神经认知现象-联觉(Synesthesia) 联觉是一种神经认知现象:当一种感官或认知通路被激活时,自动且不可控地引发另一种感官体验。...
训练阶段空间上的ResNet-可增量认知学习 ResNet的本质: 残差网络背后的策略是让网络去拟合残差映射,而不是让层去学习底层的映射。 最先提出该网络是何恺明的革命性的文章: 为什么要如此呢?我们这里不推导数学公式。在直观上来看,CNN里的非线性激活层是问题的关键。 为什么我们要使用非线性激活而不是线性激活呢? 从字面就可以知道,我们面对的大多数特征线性的很少,...
线性AR算法 在几年前,我做过一个深度图算法优化的项目。问题背景 :我们有采集+开源(~10W)depth+RGB pair对数据集,但是由于depth获取的物理原理(结构光,TOF等)原因,depth一般质量很差,孔洞,噪声,边缘模糊等。我们如何优化depth呢?其可以写为一个最优化问题: [\min \quad E(x) = \sum_{i=1}^{N} \sum_{j \in \m...
一、25年的坚持:丘成桐与卡拉比猜想 卡拉比本人思考了22年,丘成桐用了3年,整个过程历时25年——还不包含其他尝试者。 在数学史上,最动人的篇章之一,莫过于卡拉比猜想的证明历程。 卡拉比猜想由意大利数学家埃利奥·卡拉比(Eugenio Calabi)于1954年提出,是一个关于勒流形上里奇曲率零度解的存在性的深刻问题。 卡拉比本人耗时22年不断探索,却始终未能给出完整证明。...
paper: Back to Basics: Let Denoising Generative Models Denoise code: https://github.com/LTH14/JiT 1. diffusion模型长期以来的共识 我们在模型角度,一直是在学习添加的噪声分布,但是回归本质,diffusion模型目标是什么?我们真的需要让模型去预测“噪声”吗? 我们一直认为...
VAE起源 VAE(Variational Autoencoder,变分自编码器)其实不是“新生物”,它最早出现在 2013–2014 年,由 Kingma 和 Welling 在一篇经典论文 “Auto-Encoding Variational Bayes” (2013, ICLR 2014 发表) 中提出。这篇论文首次系统化地把 概率图模型 与 深度学习的自编码器 结合起来,用 随机推...