Lucius Blog

「适志于道寄骸于迹而无往不欣」

各类数学知识记录

三对角行列式一种通常情况下三对角行列式的解法 $$ D_{n}=\left|\begin{array}{ccccccc} b & c & 0 & \ldots & 0 & 0 & 0 \\ a & b & c & \ldots & 0 & 0 & 0 \\ 0 & a &a...

Posted by Lucius on May 31, 2022

信息论知识记录

KL 散度 $KL$ 散度是一种衡量两个分布匹配程度的方法，$KL$ 散度越小，两个分布之间的匹配就越好。地址 $KL$ 散度大于等于 0，当两个分布一致时等于 0： $$ \begin{aligned} & \ KL(f\|g) \\ =& \int f(x) \ln (\frac{f(x)}{g(x)}) d x \\ =&-\int f(x) \ln (...

Posted by Lucius on May 31, 2022

孤立森林（iForest - Isolation Forest）

iForest 概述功能异常检测核心思想随机划分多次，密度越疏的簇，即更有可能是异常值的点会被更快地划分出来算法按每次随机选特征、随机选划分值的方式构建多个 iTree，最后统计每个数据在所有 iTree 里的平均深度，深度越小越可能是异常值异常得分测试时，对于每个样本计算如下的异常得分： $$ s(x)=2^{-\frac{\mathbb{E}[h(...

Posted by Lucius on March 21, 2022

不等式记录

Supremum and Infimum 一、若函数 $f, g: A \rightarrow \mathbb{R}$ 有界，则下式成立： $$ \begin{aligned} \left|\sup _{A} f-\sup _{A} g\right| &\leq \sup _{A}|f-g| \\ \left|\inf _{A} f-\inf _{A} g\right| &am...

Posted by Lucius on December 8, 2021

空间概述：拓扑、度量、向量、赋范、内积、希尔伯特、RKHS

1. 空间 (Space) 空间 = 集合 + 结构「集合」为该空间中的元素集合，可以是实数、向量、矩阵、多项式、算子、函数等等; 「结构」为该空间中元素必须遵循的某些通过公理定义的规则. 2. 度量空间 (Metric Space) 2.1 从欧式空间到度量空间度量空间是欧式空间的推广，定义如下：集合 $X$ 上的度量 (metric) 是一个函数 $d: ...

Posted by Lucius on November 24, 2021

分块矩阵性质（Schur complement、S-procedure）

Schur complement 矩阵 $M=\left[\begin{array}{ll} A & B \ C & D \end{array}\right]$，$M / A$ 为 $M$ 关于 $A$ 的 Schur 补，其中 $$ M / A:=D-C A^{-1} B $$ 两条性质如下：可逆 $M,A$ 可逆 $\Ri...

Posted by Lucius on November 24, 2021

类别不平衡学习的常用策略

在日常的分类任务中，「数据类别不平衡」是一个很常见的问题，如果对其不加关注，则可能会严重影响模型性能。对于「类别不平衡」这一问题，通常可以从三个角度入手，即「数据」、「模型」以及「评价指标」，本文将对这三个角度进行介绍。一、数据 1.1 扩大数据集数据集类别不平衡，最直接的想法就是尽可能地增加数据（主要关注小样本数据），或许增加数据后分布就会变得平衡。 1.2 对大类欠采样 ...

Posted by Lucius on November 4, 2021

EM 算法解析

一、引入 EM 在现实应用中，除了已观测变量，还会存在隐变量，即未观测变量。以如下一个经典例子举例：有 3 枚硬币，分别为 A, B, C，其正面朝上概率分别是 $a,b,c$。具体实验如下：先扔硬币 A，若其为正则选硬币 B，为反则选硬币 C；再扔选出的硬币，其正反为本轮实验结果。在这个例子中，「已观测变量」为实验结果，「未观测变量」为硬币 A 的正反面。令 $\m...

Posted by Lucius on October 28, 2021

凸优化学习笔记（五）：凸优化算法、无约束优化算法、有约束优化算法

五、优化算法前置定义所有优化算法都是迭代算法。 $x^{k+1}=x^k+\alpha^k d^k$ ，其中 $\alpha^k$ 是标量，表示步长； $d^k$ 是向量，表示更新方向。 $\alpha_k=arg\ \min_{\alpha \geq 0} f_0(x^k+\alpha d^k)$ ，若 $f_0(x)$ 为凸函数，则该问题转变为一维凸优化问题，由此有...

Posted by Lucius on October 4, 2021

凸优化学习笔记（四）：对偶性、KKT 条件、敏感性分析

四、对偶性定义原问题 P (Primal Problem)： $x\in R^n,D=\bigcap^m_{i=1}dom(f_i)\cap\bigcap^p_{i=1}dom(h_i)$ $$ \begin{aligned} \min \ & f_0(x) \\ s.t. \ & f_i(x)\leq 0, i=1,...,M \\ & h_i...

Posted by Lucius on October 3, 2021