摘要 本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。 文章主要内容分为三个部分。 第一部分主要从数据结构及算法理论层面讨论M...
由于倒排索引文件往往占用巨大的磁盘空间，我们自然想到对数据进行压缩。同时，引进压缩算法后，使得磁盘占用减少，操作系统在query processing过程中磁盘读取效率也能提升。另外，压缩算法不仅要考虑压缩效果，还要照顾到query processing过程的解压缩效率。总的来说，好的索引压缩算法需要最大化两个方面： 1、减少磁盘资源占用 2、加快用户查询响应速度其中，加快响应速度比减少磁盘占用更为重要。本文主要...
VIPS:基于视觉的页面分割算法[微软下一代搜索引擎核心分页算法] - tingya的专栏 - 博客频道 - CSDN.NETVIPS:基于视觉的页面分割算法[微软下一代搜索引擎核心分页算法] 分类： 技术杂烩2006-02-18 12:2615873人阅读评论(20)收藏举报算法搜索引擎微软vbwebhtml转载请注明来源: ,http://blog.csdn.net/tingya 谢谢合作原文出处：http://www.ews.uiuc.edu/~dengcai2/tr-2003-79.pdfVIPS:基于视觉的Web页面分页算法1.问题的提出目前，...
一、innodb存储引擎索引概述：innodb存储引擎支持两种常见的索引：B+树索引和哈希索引。innodb支持哈希索引是自适应的，innodb会根据表的使用情况自动生成哈希索引。B+树索引就是传统意义上的索引，是关系型数据库中最常用最有效的索引。B+树是从最早的平衡二叉树演变而来，但是B+树不是一个二叉树。B+中的B不代表二叉(Binary),而是代表平衡(Balance)。 注意：B+树索引并不能找到一个键值对应的具体行。b+树索引只能查到被查找数据...
摘要本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。文章主要内容分为四个部分。第一部分主要从数据结构及算法理论层面讨论MySQ...
Elias-Fano编码过程如下：把一组整数的最低l位连接在一起，同时把高位以严格单调增的排序划分为桶。 Example: 2, 3, 5, 7, 11, 13, 24Count in unary the size of upper bits “buckets” including empty ones：110=》计算最大的桶，此处是110，计算方法如下：Maximum bucket: [U / 2^l]Example: [24 / 2^2] = 6 = 110 连接最低位：Concatenate lower bits10110111110100 最终编码如下：Elias-Fano representation of the sequenc...
索引1.B树索引(B-TREE)B树索引是我们日常工作最最常用的索引，大家平时在工作中说的"索引"默认都是B树索引；索引其实很简单，也很容易理解，用一本书的目录来形容最为贴切了，B树索引的结构跟图书馆的目录也很像。2.B树索引的结构：索引的顶层为根，它包括指向索引中下一层次的条目。下一层次为分支块，它又指向位于索引中下一层索引中下一层次的块，最底层的是叶节点，它包含指向表行的索引条目。叶块是双向关联的，这边与按键值升...
查找算法 基本概念：（1）关键字：假如有结构struct Node//一个结点，存储数据和指针{DATA data; //数据属性，用于存储数据int key; //假设key为int值，其在整个表里是唯一的//指针域，具体略，指向其他结点，或者是数组的下标};key值便是关键字，对于每一个结点而言，其key值都是不一样的（不一定必须是int值）。因此，当我们查找数据时，只要知道其key值，然后对比key值和我们要查找的key值是否相同，便能判断是否是我们要查找...
对搜索引擎来说，天天更新反而不好，不一定能上去，放着一些时间不更新，排名立刻就到前3个了，真是很见鬼。 搜索引擎出提出一个判断原创的新算法，他把网站原创划分几个层次，搜索引擎评估哪些站怎么个权限，大概多少时间出原创才算正常?你特定的时间更新多了，就会认为你的内容是抄来的。 做SEO 的要估计好自己的站大概是怎么样个频率，更新量是多少，要把握好搜索引擎给你划分的原创量和时间间隔。就像一个成绩差的学生...
之前做去转盘网的时候，我已经公开了非全文搜索的代码，需要的朋友希望能够前去阅读我的博客。本文主要讨论如何进行全文搜索，由于本人花了很长时间设计了新作：观点，观点对全文搜索的要求还是很高的，所以我又花了不少时间研究全文搜索，你可以先体验下：点我搜索。废话也不多说了，直接上代码：public Map<String,Object> articleSearchAlgorithms(SearchCondition condition,IndexSearcher searcher) throws ParseException, ...
摘要本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。文章主要内容分为三个部分。第一部分主要从数据结构及算法理论层面讨论MySQ...
前言 编写算法时，排序是一个非常重要的概念。它有各种各样的种类：冒泡排序、希尔排序、分块块排序，梳排序，鸡尾酒排序，侏儒排序 —— 这些可不是我瞎编的！ 这个算法题能够让我们一睹精彩的世界。我们必须对数字数组进行升序排序，并找出给定数字在该数组中的位置。 算法说明将值（第二个参数）插入到数组（第一个参数）中，并返回其在排序后的数组中的最低索引。返回的值应该是一个数字。 例如 getIndexToIns([1,2,3,4], 1.5)...
本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。 文章主要内容分为三个部分。 第一部分主要从数据结构及算法理论层面讨论MySQL数...
O(log2n)的复杂度内获取到相应数据。虽然这是一个货真价实的索引，但是实际的数据库系统几乎没有使用二叉查找树或其进化品种红黑树（red-black tree）实现的，原因会在下文介绍。B-Tree和B+Tree目前大部分数据库系统及文件系统都采用B-Tree或其变种B+Tree作为索引结构，在本文的下一节会结合存储器原理及计算机存取原理讨论为什么B-Tree和B+Tree在被如此广泛用于索引，这一节先单纯从数据结构角度描述它们。B-Tree为了描述B-Tree，...
之一。我们都希望查询数据的速度能尽可能的快，因此数据库系统的设计者会从查询算法的角度进行优化。最基本的查询算法当然是 顺序查找 （linear search），这种复杂度为O(n)的算法在数据量很大时显然是糟糕的，好在计算机科学的发展提供了很多更优秀的查找算法，例如 二分查找 （binary search）、 二叉树查找 （binary tree search）等。如果稍微分析一下会发现，每种查找算法都只能应用于特定的数据结构之上，例如二分查找...