最近学习K-SVD算法的过程中，稀疏编码部分使用了OMP追踪算法，特作此总结。求解问题：其中D是过完备的字典，已经给定，Y是原始信号，X待求。OMP算法的本质思想是：以贪婪迭代的方法选择D的列，使得在每次迭代的过程中所选择的列与当前冗余向量最大程度的相关，从原始信号向量中减去相关部分并反复迭代，只到迭代次数达到稀疏度K，停止迭代。核心算法步骤如下：相关Matlab代码如下：function [A]=OMP(D,X,L);?%====================...
一、什么是算法？ 算法（algorithm）是求解一类问题的任意一种特殊的方法。严格的说法是，一个算法是对特定问题求解步骤的一种描述，它是指令的有限序列。 算法具有下面五个特征：输入（input）：算法有零个或多个输入量； 输出（output）：算法至少产生一个输出量； 确定性（definiteness）：算法的每一条指令都有确切的定义，没有二义性，无歧义； 有限性（finiteness）算法的每条指令的执行次数是有限的，执行每条指令的时间也是...
一、典型插入排序复杂度 1 template<class Type>2 void insertion_sort(Type *a, intn)3 {4 Type key; // cost times 5 for (inti= 1; i< n; i++){ // c1 n6 key=a[i]; // c2 n-17 intj=i-1; // c3 n-18 while( j>=0 && a[j]>key ){ // c4 sum of ti9 a[j+1]=a[j]; // c5...
基础算法 标签：自己复习过程中先整理了遇到的，日后再补充。冒泡排序（一）； public class DoubleSort{public static void main(String[] args){int[] ints = {1,2,4,9,8,7,6,5,4,3};doubleSort(ints);}public static void doubleSort(int[] vlaue){int temp;for(int i = 0;i<value.length;i++){for(int j= 0;j<value.length-1-i;j++){if(value[j+1]<value[j]){temp = value[j];value[j] = value[j+1];value[j+1] = temp;}}}} }二...
朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。对于大多数的分类算法，在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。比如决策树，KNN，逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数，要么是条件分布。但是朴素贝叶斯却是生成方法，该算法原理简单，也易于实现。 1，基本概念朴素贝叶斯：贝叶斯分类时一类分类算...
主要讨论集中垃圾收集算法的思想及发展过程。 1、标记-清除法最基础的收集算法是标记-清除法，算法分为标记和清除两个阶段：首先标记出所有需要回收的对象，在标记完成后统一回收所有被标记的对象，其标记过程在之前已经讲过。之所以说他是最基础的收集算法，是因为后续的收集算法都是基于这种思路并对其不足进行改进而得到的。它的不足有两个：一个是效率问题，标记和清除效率都不高；另一个是空间问题，标记清除后产生大量不连续...
前置知识：值域线段树，可持续化线段树，树状数组 动态整体第k小 题目：给定一个序列和m次操作，每次操作修改单点或者询问整个序列第k小的数 首先考虑暴力，对于每次修改都直接排序的话，复杂度为O(nmlogn)，也可以魔改一下排序方法，不过一般的暴力还是没办法过 整体第k小带修改很明显可以用平衡树做，不过编程较麻烦（而且大材小用），所以不考虑 值域线段树 值域线段树可以很方便的O(logn)查询一次所有数中比某个值小的数的个数...
一句话题意：x0=1，xi+1=(Axi+xi%B)%C，如果x序列中存在最早的两个相同的元素，输出第二次出现的位置，若在2e7内无解则输出-1。 题解：都不到100天就AFO了才来学这floyd判圈算法。 介绍一下floyd判圈算法：该算法适用于在线性时间复杂度内判断有限自动机、迭代函数、链表中是否有环，求环的起点（即链长）和环长。可以先这么做：首先从起点S出发，给定两个指针，一个快指针一个慢指针，然后每次快指针走1步，慢指针走2步，直到相遇...
Isolation，意为孤立/隔离，是名词，其动词为isolate，forest是森林，合起来就是“孤立森林”了，也有叫“独异森林”，好像并没有统一的中文叫法。可能大家都习惯用其英文的名字isolation forest，简称iForest 。iForest适用于连续数据（Continuous numerical data）的异常检测，将异常定义为“容易被孤立的离群点（more likely to be separated）”——可以理解为分布稀疏且离密度高的群体较远的点。用统计学来解释，在数据空间里...
\(Cipolla\)好像是个很厉害的东西……虽然我觉得这东西直接用离散对数+\(bsgs\)艹过去也可以…… 如无特殊说明，以下均默认\(p\)为模数，且\(p\)为奇素数 如无特殊说明，以下均认为运算在\(\mathbb{F}_p\)下进行（元素为\(0\)到\(p-1\)这\(p\)个元素，运算为模\(p\)意义下的加减乘除） 定义 二次剩余 对于\(P,n\)，若存在\(x\)，满足 \[x^2\equiv n\pmod{p}\] 则称\(n\)为模\(P\)意义下的二次剩余 用人话说就是\(n\)在模\(p\)意义下...
反向传播算法 （ BackPropagation,BP） PS：需要掌握高等数学中的链式求导法则、偏导数、梯度概念。有一定的神经网络基础知识。 反向传播简介 反向传播原理及实现 总结一、反向传播简介BP算法是神经网络用于更新权值的算法，可以说是能让神经网络开始“学习”的核心，所以理解这个算法是非常重要的。本着实践是检验是否理解的唯一标准的原则，我借用了另一位博主的博客代码，稍微修改了一些地方，最后分析算法的结果。原贴在这里...
一、解决问题的前提是定义清楚问题 通过对一些模糊需求进行假设，来限定要解决问题的范围根据某个值查找数据，比如 select * from use where id=1234； 根据区间值来查询某些数据比如 select * from use where id > 1234 and id < 2345性能方面的需求，我们主要考察时间和空间两方面，也就是执行效率和存储空间执行效率：我么你希望通过索引，查询数据的效率尽可能的高； 存储空间方面：我们希望索引不需要消耗太多的内存空间 二、...
「学习笔记」类欧几里得算法 现有多组询问，要求在 \(O(\log n)\) 求三个有趣式子的和。 设 \[f(a,b,c,n)=\sum_{i=0}^{n}\lfloor \frac {ai+b}{c}\rfloor\] \[g(a,b,c,n)=\sum_{i=0}^{n}\lfloor \frac {ai+b}{c}\rfloor^2\] \[h(a,b,c,n)=\sum_{i=0}^{n}i\lfloor \frac {ai+b}{c}\rfloor\] \(t_1=\lfloor \frac ac\rfloor,t_2=\lfloor \frac bc\rfloor\) \(S_1(n)=\sum_{i=0}^{n}i,S_2(n)=\sum_{i=0}^{n}i^2\) \(m=\lfloor \frac {...
using System; namespace Algorithm.AFind { public class Example04:IComMethod { int[] a1 = { 8, 9, 7, 5, 4, 3, 10, 12, 1, 2, 21, 66, 43}; public Example04() { } private int sepCompare(int[]a, int lo, int hi){ // Console.WriteLine("---"); int key = a[lo]; // 当次排序当首位 while (lo < hi){ while ((a[hi] ...
Python机器学习——预测分析核心算法 第 6 章 集成方法 import pandas as pd import numpy as np from sklearn import tree from sklearn.tree import DecisionTreeRegressor from sklearn.externals.six import StringIO import math import matplotlib.pyplot as plt import ostarget_url = "http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv" data=pd.read_csv(target_url,sep=';')...