Archive

「不知周之梦为蝴蝶与 蝴蝶之梦为周与」
2025

大型语言模型训练的三个阶段:Pre-Train、Instruction Fine-tuning、RLHF (PPO / DPO / GRPO)


如何不修改模型参数来强化大语言模型 (LLM) 能力?


2024

最近邻搜索 - 经典树型结构 M-Tree


最近邻搜索 - Hierarchical Navigable Small World


关联规则挖掘:Apriori 和 FP-Growth 算法


JACM23 - A New Algorithm for Euclidean Shortest Paths in the Plane


针对多标签(Multi-label)任务的经典算法


随机多臂赌博机 (Stochastic MAB):置信上界算法 (Upper Confidence Bound)


AAAI24 - Model Reuse Tutorial


IJCAI23 - Continual Learning Tutorial


ICML23 - Synthetic Data for Model Selection


ICML23 - Fundamental Tradeoffs in Learning with Prior Information


2023

选择性集成 - MDEP (PPSN-22)


CLIP: Learning Transferable Visual Models From Natural Language Supervision


ICML23 - Explore and Exploit the Diverse Knowledge in Model Zoo for Domain Generalization


大型语言模型 (LLM) 的两条发展路线:Finetune v.s. Prompt


研究的艺术 (The craft of research) 读书笔记


生成式 AI 分析:大模型 + 大量数据的神奇效果


生成式 AI 背后的共同框架:Stable Diffusion、DALL-E、Imagen


机器学习领域中各学派划分:符号主义、频率主义、贝叶斯主义、连接主义


对比学习 (Contrastive Learning) 发展历程 - 综述


二进制哈希码快速搜索:Multi-Index Hashing


层次聚类:BIRCH 聚类、Lance–Williams equation、BETULA 聚类


演化算法:乌鸦搜索算法 (Crow Search Algorithm)


软聚类算法:模糊聚类 (Fuzzy Clustering)


k-Medoids 聚类系列算法:PAM, CLARA, CLARANS, Trimed, BanditPAM


变分推断 (Variational Inference) 解析


O(1) 的离散概率分布采样方法 - Alias Method


哈希函数的学习算法整理


最大化内积搜索相关研究 (Maximum Inner Product Search, MIPS)


推荐系统中的协同过滤算法


2022

推荐系统召回层算法


Detecting and Correcting for Label Shift with Black Box Predictors(BBSE)


模型查搜相关研究


机器学习中常见性能度量汇总


Transformer 模型以及自注意力机制 (Self-attention)


目标检测 YOLO 系列模型


OWLAPI 记录


信息论知识记录


各类数学知识记录


机器学习算法 - 博客收藏


机器学习讲座记录


孤立森林(iForest - Isolation Forest)


2021

不等式记录


分块矩阵性质(Schur complement、S-procedure)


空间概述:拓扑、度量、向量、赋范、内积、希尔伯特、RKHS


类别不平衡学习的常用策略


EM 算法解析


凸优化学习笔记(五):凸优化算法、无约束优化算法、有约束优化算法


凸优化学习笔记(四):对偶性、KKT 条件、敏感性分析


凸优化学习笔记(三):凸优化问题


凸优化学习笔记(二):凸函数、函数共轭、拟凸函数


凸优化学习笔记(一):仿射集、凸集、锥


强化学习课程笔记:PPO、Q-Learning、Actor + Critic、Sparse Reward、IRL


PRML 学习笔记(附录)- 变分法 (Calculus of Variations)


PRML 学习笔记(三)- 线性回归模型 (Linear Models for Regression)


PRML 学习笔记(二)- 概率分布 (Probability Distributions)


PRML 学习笔记(一)- 介绍 (Introduction)


高等数学相关知识点整理


概率论:高斯分布、中心极限定理、伯努利分布、二项分布


线性回归与逻辑回归


概率论:期望、方差、协方差、相关与独立、样本估计量、点估计、区间估计


学习笔记:线性代数的本质


元学习 (Meta Learning)、小样本学习 (Few-Shot Learning)、课程学习 (Curriculum Learning)


2020

【线性代数】详解正定矩阵、实对称矩阵、矩阵特征值分解、矩阵 SVD 分解


计算机图形学完整笔记(十):绘制技术


计算机图形学完整笔记(九):真实感图形学


计算机图形学完整笔记(八):曲线曲面 - 2


计算机图形学完整笔记(七):曲线曲面 - 1


计算机图形学完整笔记(六):三维图形变换


计算机图形学完整笔记(五):二维图形变换


计算机图形学完整笔记(四):消隐


计算机图形学笔记(三):裁剪


计算机图形学笔记(二):光栅图形学算法


计算机图形学笔记(一):图形学概论


从云毕业照入手了解深度伪造(Deepfake)技术


2019

Python 画图 —— 箱图与密度图


Python 画图 —— 矩形图


Python 画图 —— 柱状图


Python 画图基础操作


NP、P、NPC、NP-hard 概念辨析


常见公式推导整理