自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[1]寻找搜索引擎入口

<form name=s1 style="margin-bottom:0" action="http://search.yahoo.com/search">

<table cellpadding=0 cellspacing=0 border=0><tr><td>

<input type=text size=30 name=p title="enter search terms here">&nbsp;

<input type=submit value=Search>&nbsp;&nbsp;</td><td><font face=arial size=-2>·&nbsp;

<a href="http://search.yahoo.com/search/options?p=">advanced search</a><br>·&nbsp;

<a href="http://buzz.yahoo.com/">most popular</a></font></td></tr></table></form>

<form method=GET action=/search><tr><td nowrap>

<font size=-1><input type=text name=q size=41 maxlength=2048 value="jrckkyy" title="Google 搜索"> <input type=submit name=btnG value="Google 搜索"><input type=hidden name=complete value=1><input type=hidden name=hl value="zh-CN"><input type=hidden name=newwindow value=1><input type=hidden name=sa value="2"></font></td></tr></form>

<form name=f2 action="/s">

<tr valign="middle">

<td nowrap>

<input type=hidden name=ct value="0">

<input type=hidden name=ie value="gb2312">

<input type=hidden name=bs value="jrckkyy">

<input type=hidden name=sr>

<input type=hidden name=z value="">

<input type=hidden name=cl value=3>

<input type=hidden name=f value=8>

<input name=wd size="35" class=i value="jrckkyy" maxlength=100>

<input type=submit value=百度一下> <input type=button value=结果中找 onclick="return bq(f2,1,0);">&nbsp;&nbsp;&nbsp;</td>

<td nowrap><a href="http://utility.baidu.com/quality/quality_form.php?word=jrckkyy">与百度对话</a></td>

</tr>

</form>

<form name=f action="/cgi-bin/tw" method=get>

<td valign=center width=634 background=images/index_image_02.gif>

<table height=46 cellspacing=0 cellpadding=0 width=600 align=right  border=0>

<tbody>

<tr>

<td height=50>

<table cellspacing=0 cellpadding=0 width=600 border=0>

<tbody>

<tr>

<td width="524" height="30" valign="bottom">

<div align="center">                                  <input name="word" type="text" size="40" maxlength="255" onClick="this.focus();checkWord(this,1)" onblutesr='checkWord(this,0)' value='请输入资源名称'>

<font color=#ffffff> &nbsp;

<select onChange=reRange(this.selectedIndex) name=range>

<script language=javascript>

<!--

; i < rescode.length; i++) {

) {

document.write(] + '</option>');

} else {

document.write(] + '</option>');

}

}

document.f.range.selectedIndex ;

-->

</script>

</select>

</font>-<font color=#ffffff>

<select name=cd>

<script language=javascript>

<!--

var ind = document.f.range.selectedIndex;

;

;

; i < len; i++) {

document.write(] + '</option>');

)

sel = i;

}

document.f.cd.selectedIndex = sel;

-->

</script>

</select>

</font></div>

</td>

<td width="71" valign="bottom"><input id=submit2 type=image height=22 width=40 src="images/so2.gif" align=absMiddle name=submit></td>

</tr>

<tr>

<td colspan=3 height=25 class=style16>

<div align=center></div>

</td>

</tr>

</tbody>

</table>

</td>

</tr>

</tbody>

</table>

</td>

</form>

<form method="get" action="/cgi-bin/index/TSESearch" name="tw">

<td width="100%" height="25" align="center">

<input type="text" name="word" size="55">

<input type="submit" value=" 搜索" name="www">

</td>

<input type="hidden" name="cdtype" value="GB">

</form>

/**

* 程序翻译说明

* @Copyright (c) 2008, 研发部

* All rights reserved.

*

* @filesource  TSESearch.cpp

* @author  jrckkyy <jrckkyy@163.com>

*

* Let's start

*

*/

#include <stdio.h>

#include <stdlib.h>

#include <string.h>

#include <sys/types.h>

#include <sys/stat.h>

#include <fcntl.h>

#include <sys/time.h>

#include <unistd.h>



#include <iostream>

#include <fstream>

#include <list>



#include "Comm.h"    //包含2个索引和1个数据文件

#include "Query.h"    //包含数据查询处理头文件

#include "Document.h"    //html文档处理头文件

#include "StrFun.h"        //字符串处理头文件

#include "ChSeg/Dict.h"    //字元字典处理头文件

#include "ChSeg/HzSeg.h"

#include "DisplayRst.h"    //返回查询结果页面头文件，返回结果分为头部，中部，底部



using namespace std;



/*

* A inverted file(INF) includes a term-index file & a inverted-lists file.

* A inverted-lists consists of many bucks(posting lists).

* The term-index file is stored at vecTerm, and

* the inverted-lists is sored at mapBuckets.

*/



/**

* 程序翻译说明

* 搜索程序入口前台关键字提交到该cgi程序 例如：./cgi-bin/index/TSESearch?word=123&start=1

* 倒排文件包括一个记录检索词文件和一个倒排列表文件。

* 倒排列表包含很多标志（提交名单）。

* 记录检索词文件使用vecTerm来排序，和倒排列表是用mapBuckets来排序。

*

* @access  public

* @param   int char 参数的汉字说明 用于接收前台get传递的参数

* @return  string 0

*/

int main(int argc, char* argv[])

{

struct timeval begin_tv, end_tv;

struct timezone tz;



CDict iDict;

map<string, string> dictMap, mapBuckets;

vector<DocIdx> vecDocIdx;    //Document。h



CQuery iQuery;

iQuery.GetInputs();        //具体程序开始执行

// current query & result page number

iQuery.SetQuery();

iQuery.SetStart();



// begin to search

//开始具体搜索程序

gettimeofday(&begin_tv,&tz);    //开始计时获取程序运行时间差



iQuery.GetInvLists(mapBuckets);        //将所有字符集存入映射变量中    瓶颈所在

iQuery.GetDocIdx(vecDocIdx);        //将倒排索引存入向量中        瓶颈所在



CHzSeg iHzSeg;        //include ChSeg/HzSeg.h

iQuery.m_sSegQuery = iHzSeg.SegmentSentenceMM(iDict, iQuery.m_sQuery);    //将get到的查询变量分词分成 "我/        爱/        你们/    的/        格式"



vector<string> vecTerm;

iQuery.ParseQuery(vecTerm);        //将以"/"划分开的关键字一一顺序放入一个向量容器中



set<string> setRelevantRst;

iQuery.GetRelevantRst(vecTerm, mapBuckets, setRelevantRst);



gettimeofday(&end_tv,&tz);

// search end

//搜索完毕



//下面开始显示

CDisplayRst iDisplayRst;

iDisplayRst.ShowTop();





;



iDisplayRst.ShowMiddle(iQuery.m_sQuery,used_msec,

setRelevantRst.size(), iQuery.m_iStart);



iDisplayRst.ShowBelow(vecTerm,setRelevantRst,vecDocIdx,iQuery.m_iStart);



;



}