sqlserver全文,sqlserver笔记

sqlserver全文索引的原理

建立全文索引中有两项非常重要，一个是如何对文本进行分词，一是建立索引的数据结构。分词的方法基本上是二元分词法、最大匹配法和统计方法。索引的数据结构基本上采用倒排索引的结构。

分词的好坏关系到查询的准确程度和生成的索引的大小。在中文分词发展中，早期经常使用分词方式是二元分词法，该方法的基本原理是将包含中文的句子进行二元分割，不考虑单词含义，只对二元单词进行索引。因此该方法所分出的单词数量较多，从而产生的索引数量巨大，查询中会将无用的数据检索出来，好处是算法简单不会漏掉检索的数据。之后又发展出最大匹配分词方法，该方法又分为正向最大分词和逆向最大分词。其原理和查字典类似，对常用单词生成一个词典，分析句子的过程中最大的匹配字典中的单词，从而将句子拆分为有意义的单词链。最大匹配法中正向分词方法对偏正式词语的分辨容易产生错误，比如“首饰和服装”会将“和服”作为单词分出。达梦数据库采用的是改进的逆向最大分词方法，该分词方法较正向正确率有所提高。最为复杂的是通过统计方式进行分词的方法。该方法采用隐式马尔科夫链，也就是后一个单词出现的概率依靠于前一个单词出现的概率，最后统计所有单词出现的概率的最大为分词的依据。这个方法对新名词和地名的识别要远远高于最大匹配法，准确度随着取样文本的数量的增大而提高。

二元分词方法和统计方法是不依赖于词典的，而最大匹配法分词方法是依赖于词典的，词典的内容决定分词结构的好坏。

全文检索的索引被称为倒排索引，之所以成为倒排索引，是因为将每一个单词作为索引项，根据该索引项查找包含该单词的文本。因此，索引都是单词和唯一记录文本的标示是一对多的关系。将索引单词排序，根据排序后的单词定位包含该单词的文本。

步骤1）读取一整条句子到变量str中，转到步骤2

步骤2）从句子的尾端读取1个字到变量word中，转到步骤3

步骤3）在字典查找word中保存的单词。如果存在则保存word，转到步骤4，否则转到步骤5）

步骤4）如果是字典中最大单词或者超过最大单词数（认定为新词），从句尾去掉该单词，返回步骤2

步骤5）读取前一个字到word中，构成新单词，转到步骤3）

词库的内存数据结构和词库中单词的匹配算法

内存中单词采用层次结构保存

假设字典中有如下的单词：中国 中华民国 国家 人民 民主

在内存中按照如下方式按层排列，其中每一个方块代表一个字，箭头所指向为该单词的前一个字

相关问答

Q1: 为什么说SQLServer全文索引有局限性

下面假设有这样一个例子：在DataBase_name。dbo。Table_name中有一个名为Title(标题)和Contents(内容)的字段，现在需要查询在Title或者Contents中包括“qq”字符的所有记录。 面对这样的一个场景，我们通常都会写这样一个脚本：SELECT * FROM DataBase_name。

dbo。Table_name WHERE Title LIKE '%qq%' OR Contents LIKE '%qq%'; 没错，这也是我第一个想到的方法。但是我们需要思考的是：随着时间的推移，数据会越来越大，那个时候我们该如何提高我们的性能?用户随时都有可能再添加对Remark(备注)字段进行查找，难道我们就应该不厌其烦地修改程序代码? 需要指出的是：面对这样的查询条件，即使Title和Contents上都有索引，我们也无法使用到索引，因为在 '%qq%'的“qq”前面使用了通配符，所以无法使用到索引;如果查询的条件是'qq%'，那到是可以利用上索引。

在许多数据库性能调优的文章上都说OR这个谓词可以使用SELECT UNION ALL SELECT这样的方式来提高性能，但是需要提醒大家的是：如果在一条记录中字段Title和Contents都同时存在“中国”字符的话，那么返回的结果就会出现两条相同的记录，如果你希望是唯一的记录，那么这个时候你就要注意了。

现在回到我们上面的问题，大概这个时候大家都应该想到了数据库的全文索引了。全文索引是一种特殊类型的基于标记的功能性索引，由 Microsoft SQL Server 全文引擎 (MSFTESQL) 服务创建和维护。创建全文索引的过程与创建其他类型的索引的过程差别很大。

MSFTESQL 不是基于某一特定行中存储的值来构造 B 树结构，而是基于要索引的文本中的各个标记来创建倒排、堆积且压缩的索引结构。(摘自MSDN) 为什么说SQL Server 全文索引不是万能的?可能大家都怀疑我是不是标题党了，呵呵，马上就讲到，那就是这个全文索引能解决我们一开始提到的场景吗?回答是否定。

为什么呢?因为它的分词和倒排索引造成了对字符串“tqq。tencent。com”这样的内容进行‘“*qq*”’这样的条件查询，上面那条记录是不会被返回的。它的分词应该是正向最大值的分词方法，它没有对方向再进行一次分词和索引，索引无法查询到。这个可能会被大家所忽略掉的。

Q2: sqlserver有自带的全文检索？

有自带的全文检索，主要功能是在指定列上创建全文检索索引，然后可以基于关键字查询该列内容。

在where语句后面用CONTAINS(列名,value)这个函数就可以，没有索引的话应该就是扫描的方式执行。

Q3: sqlserver的全文索引如何能够实时更新rt

一般情况，使用SQL Server中的全文索引，经过大体4个步骤：

1). 安装full text search全文索引服务；

2). 为数据表建立full text catalog全文索引目录；

3). 进行full text catalog的population操作（使全文索引与数据表内容同步)；

4). 使用全文索引进行查询。

为了在数据表内容更新时全文索引数据库的内容也保持最新，可以通过第5步建立full text catalog 的Population自动操作Schedule.