● 摘要
在互联快速发展的今天，搜索引擎作为其密不可分的重要入口方式，已经越来越多的被广大用户使用，它充分汇聚了众多网页的信息，并进行分词以供检索，在人们的时间日益变的紧凑的今天社会，由于搜索引擎的存在，大大减少了人们寻找信息的时间。并且随着科技的不断发展，逐步从简单的对数据进行检索，发展出了对用户输入内容意图的定位，对相关内容的推荐以及对内容精准的把握等一系列贴近用户，提高用户体验的技术。但与此同时，也存在并带来了一些问题，比如：1，检索的结果过多，导致用户在结果中进行过多的二次检索；2，给出的结果个别有毒或是广告的木马；3，对内容的更新周期比较长，尤其是新闻类型，常常不能在第一时间搜索到实时新闻。
本文参考了当今出现的搜索引擎的架构、技术，借鉴了现有的搜索引擎理论，从实践中出现的问题出发，参考并实现了一个信息抓取系统，完成网页及实时页面的遍历。在原搜索引擎基础上进行索引的建立和检索。在系统的整体上，尽量避免检索结果数量过多和搜索结果含金量却不高的现象。