使用 Apache Lucene 搜索文本

简介

Lucene是一个开源、高度可扩展的搜索引擎库，可以从ApacheSoftwareFoundation获取。您可以将Lucene用于商业和开源应用程序。Lucene强大的API主要关注文本索引和搜索。它可以用于为各种应用程序构建搜索功能，比如电子邮件客户端、邮件列表、Web搜索、数据库搜索等等。Wikipedia、TheServerSide、jGuru和LinkedIn等网站都使用了Lucene。

Lucene还为EclipseIDE、Nutch（著名的开源Web搜索引擎）以及IBM®、AOL和Hewlett-Packard等公司提供搜索功能。Lucene已经兼容许多其他编程语言，包括Perl、Python、C++和.NET。到2009年7月30日止，用于Java™编程语言的最新版Lucene为V2.4.1。

Lucene功能众多：

拥有强大、准确、有效的搜索算法。

计算每个文档匹配给定查询的分数，并根据分数返回最相关的文档。

支持许多强大的查询类型，比如PhraseQuery、WildcardQuery、RangeQuery、FuzzyQuery、BooleanQuery等。

支持解析人们输入的丰富查询表达式。

允许用户使用定制排序、过滤和查询表达式解析扩展搜索行为。

使用基于文件的锁定机制保护并发索引修改。

允许同时搜索和编制索引。

回页首

使用Lucene构建应用程序

如图1所示，使用Lucene构建功能全面的搜索应用程序主要涉及编制数据索引、搜索数据和显示搜索结果几个方面。

图1.使用Lucene构建应用程序的步骤

本文从使用LuceneV2.4.1和Java技术开发的样例应用程序中挑选了一些代码片段。示例应用程序为存储在属性文件中一组电子邮件文档编制索引，并展示了如何使用Lucene的查询API搜索索引。该示例还让您熟悉基本的索引操作。

回页首

为数据编制索引

Lucene允许您为任何文本格式的数据编制索引。Lucene可以用于几乎任何数据源以及从中提取的文本信息。您可以使用Lucene编制索引并搜索HTML文档、Microsoft®Word文档、PDF文件中存储的数据。编制数据索引的第一步是让数据变成一个简单的文本格式。您可以使用定制解析器和数据转换器实现这一点。

编制索引的过程

编制索引是将文本数据转换为有利于快速搜索的格式。这类似于书本后面的索引：为您指出主题在书中出现的位置。

Lucene将输入数据存储在名为逆序索引的数据结构中,该数据结构以索引文件集的形式存储在文件系统或内存中。大部分Web搜索引擎都使用逆序索引。它允许用户执行快速关键字查询，查找匹配给定查询的文档。在将文本数据添加到索引前，由分析程序（使用分析过程）进行处理。

分析

分析是将文本数据转换为搜索基本单位（称为项（term））的过程。在分析过程中，文本数据将经历多项操作：提取单词、移除通用单词、忽略标点符号、将单词变为词根形式、将单词变成小写等等。分析过程发生在编制索引和查询解析之前。分析将文本数据转换为标记，这些标记将作为项添加到Lucene索引中。

Lucene有多种内置分析程序，比如SimpleAnalyzer、StandardAnalyzer、StopAnalyzer、SnowballAnalyzer等。它们在标记文本和应用过滤器的方式上有所区别。因为分析在编制索引之前移除单词，它减少了索引的大小，但是不利用精确的查询过程。您可以使用Lucene提供的基本构建块创建定制分析程序，以自己的方式控制分析过程。表1展示了一些内置分析程序及其处理数据的方式。

表1.Lucene的内置分析程序

分析程序对文本数据的操作

WhitespaceAnalyzer分解空白处的标记

SimpleAnalyzer分解非字母字符的文本，并将文本转为小写形式

StopAnalyzer移除虚字（stopword）——对检索无用的字，并将文本转为小写形式

StandardAnalyzer根据一种复杂语法（识别电子邮件地址、缩写、中文、日文、韩文字符、字母数字等等）标记文本

将文本转为小写形式

移除虚字

核心索引编制类

Directory

表示索引文件存储位置的抽象类。有两个常用的子类：

FSDirectory—在实际文件系统中存储索引的Directory实现。该类对于大型索引非常有用。

RAMDirectory—在内存中存储所有索引的实现。该类适用于较小的索引，可以完整加载到内存中，在应用程序终止之后销毁。由于索引保存在内存中，所以速度相对较快。

Analyzer

正如上文所述，分析程序负责处理文本数据并将其转换为标记存储在索引中。在编制索引前，IndexWriter接收用于标记数据的分析程序。要为文本编制索引，您应该使用适用于该文本语言的分析程序。

默认分析程序适用于英语。在Lucene沙盒中还有其他分析程序，包括用于中文、日文和韩文的分析程序。

IndexDeletionPolicy

该接口用来实现从索引目录中定制删除过时提交的策略。默认删除策略是KeepOnlyLastCommitDeletionPolicy，该策略仅保留最近的提交，并在完成一些提交之后立即移除所有之前的提交。

IndexWriter

创建或维护索引的类。它的构造函数接收布尔值，确定是否创建新索引，或者打开现有索引。它提供在索引中添加、删除和更新文档的方法。

对索引所做的更改最初缓存在内存中，并周期性转储到索引目录。IndexWriter公开了几个控制如何在内存中缓存索引并写入磁盘的字段。对索引的更改对于IndexReader不可见，除非调用IndexWriter的提交或关闭方法。IndexWriter创建一个目录锁定文件，以通过同步索引更新保护索引不受破坏。IndexWriter允许用户指定可选索引删除策略。

列表1.使用LuceneIndexWriter

//CreateinstanceofDirectorywhereindexfileswillbestored

DirectoryfsDirectory=FSDirectory.getDirectory(indexDirectory);

/*Createinstanceofanalyzer,whichwillbeusedtotokenize

theinputdata*/

AnalyzerstandardAnalyzer=newStandardAnalyzer();

//Createanewindex

booleancreate=true;

//Createtheinstanceofdeletionpolicy

IndexDeletionPolicydeletionPolicy=newKeepOnlyLastCommitDeletionPolicy();

indexWriter=newIndexWriter(fsDirectory,standardAnalyzer,create,

deletionPolicy,IndexWriter.MaxFieldLength.UNLIMITED);

将数据添加到索引

将文本数据添加到索引涉及到两个类。

Field表示搜索中查询或检索的数据片。Field类封装一个字段名称及其值。Lucene提供了一些选项来指定字段是否需要编制索引或分析，以及值是否需要存储。这些选项可以在创建字段实例时传递。下表展示了Field元数据选项的详细信息。

表2.Field元数据选项的详细信息

选项描述

Field.Store.Yes用于存储字段值。适用于显示搜索结果的字段—例如，文件路径和URL。

Field.Store.No没有存储字段值—例如，电子邮件消息正文。

Field.Index.No适用于未搜索的字段—仅用于存储字段，比如文件路径。

Field.Index.ANALYZED用于字段索引和分析—例如，电子邮件消息正文和标题。

Field.Index.NOT_ANALYZED用于编制索引但不分析的字段。它在整体中保留字段的原值—例如，日期和个人名称。

Document是一个字段集合。Lucene也支持推进文档和字段，这在给某些索引数据赋予重要性时非常有用。给文本文件编制索引包括将文本数据封装在字段中、创建文档、填充字段，使用IndexWriter向索引添加文档。

列表2展示向索引添加数据的示例。

列表2.向索引添加数据

/*Step1.Preparethedataforindexing.Extractthedata.*/

Stringsender=properties.getProperty("sender");

Stringdate=properties.getProperty("date");

Stringsubject=properties.getProperty("subject");

Stringmessage=properties.getProperty("message");

Stringemaildoc=file.getAbsolutePath();

/*Step2.WrapthedataintheFieldsandaddthemtoaDocument*/

FieldsenderField=

newField("sender",sender,Field.Store.YES,Field.Index.NOT_ANALYZED);

Fieldemaildatefield=

newField("date",date,Field.Store.NO,Field.Index.NOT_ANALYZED);

FieldsubjectField=

newField("subject",subject,Field.Store.YES,Field.Index.ANALYZED);

Fieldmessagefield=

newField("message",message,Field.Store.NO,Field.Index.ANALYZED);

FieldemailDocField=

newField("emailDoc",emaildoc,Field.Store.YES,

Field.Index.NO);

Documentdoc=newDocument();

//AddthesefieldstoaLuceneDocument

doc.add(senderField);

doc.add(emaildatefield);

doc.add(subjectField);

doc.add(messagefield);

doc.add(emailDocField);

//Step3:AddthisdocumenttoLuceneIndex.

indexWriter.addDocument(doc);

回页首

搜索索引数据

搜索是在索引中查找单词并查找包含这些单词的文档的过程。使用Lucene的搜索API构建的搜索功能非常简单明了。本小节讨论Lucene搜索API的主要类。

Searcher

Searcher是一个抽象基类，包含各种超负荷搜索方法。IndexSearcher是一个常用的子类，允许在给定的目录中存储搜索索引。Search方法返回一个根据计算分数排序的文档集合。Lucene为每个匹配给定查询的文档计算分数。IndexSearcher是线程安全的；一个实例可以供多个线程并发使用。

Term

Term是搜索的基本单位。它由两部分组成：单词文本和出现该文本的字段的名称。Term对象也涉及索引编制，但是可以在Lucene内部创建。

Query和子类

Query是一个用于查询的抽象基类。搜索指定单词或词组涉及到在项中包装它们，将项添加到查询对象，将查询对象传递到IndexSearcher的搜索方法。

Lucene包含各种类型的具体查询实现，比如TermQuery、BooleanQuery、PhraseQuery、PrefixQuery、RangeQuery、MultiTermQuery、FilteredQuery、SpanQuery等。以下部分讨论Lucene查询API的主查询类。

TermQuery

搜索索引最基本的查询类型。可以使用单个项构建TermQuery。项值应该区分大小写，但也并非全是如此。注意，传递的搜索项应该与文档分析得到的项一致，因为分析程序在构建索引之前对原文本执行许多操作。

例如，考虑电子邮件标题“JobopeningsforJavaProfessionalsatBangalore”。假设您使用StandardAnalyzer编制索引。现在如果我们使用TermQuery搜索“Java”，它不会返回任何内容，因为本文本应该已经规范化，并通过StandardAnalyzer转成小写。如果搜索小写单词“java”，它将返回所有标题字段中包含该单词的邮件。

列表3.使用TermQuery搜索

//Searchmailshavingtheword"java"inthesubjectfield

SearcherindexSearcher=newIndexSearcher(indexDirectory);

Termterm=newTerm("subject","java");

QuerytermQuery=newTermQuery(term);

TopDocstopDocs=indexSearcher.search(termQuery,10);

RangeQuery

您可以使用RangeQuery在某个范围内搜索。索引中的所有项都以字典顺序排列。Lucene的RangeQuery允许用户在某个范围内搜索项。该范围可以使用起始项和最终项（包含两端或不包含两端均可）指定。

列表4.在某个范围内搜索

/*RangeQueryexample:Searchmailsfrom01/06/2009to6/06/2009

bothinclusive*/

Termbegin=newTerm("date","20090601");

Termend=newTerm("date","20090606");

Queryquery=newRangeQuery(begin,end,true);

PrefixQuery

您可以使用PrefixQuery通过前缀单词进行搜索，该方法用于构建一个查询，该查询查找包含以指定单词前缀开始的词汇的文档。

列表5.使用PrefixQuery搜索

//Searchmailshavingsenderfieldprefixedbytheword'job'

PrefixQueryprefixQuery=newPrefixQuery(newTerm("sender","job"));

PrefixQueryquery=newPrefixQuery(newTerm("sender","job"));

BooleanQuery

您可以使用BooleanQuery组合任何数量的查询对象，构建强大的查询。它使用query和一个关联查询的子句，指示查询是应该发生、必须发生还是不得发生。在BooleanQuery中，子句的最大数量默认限制为1,024。您可以调用setMaxClauseCount方法设置最大子句数。

列表6.使用BooleanQuery进行搜索

//Searchmailshaveboth'java'and'bangalore'inthesubjectfield

Queryquery1=newTermQuery(newTerm("subject","java"));

Queryquery2=newTermQuery(newTerm("subject","bangalore"));

BooleanQueryquery=newBooleanQuery();

query.add(query1,BooleanClause.Occur.MUST);

query.add(query2,BooleanClause.Occur.MUST);

PhraseQuery

您可以使用PhraseQuery进行短语搜索。PhraseQuery匹配包含特定单词序列的文档。PhraseQuery使用索引中存储的项的位置信息。考虑匹配的项之间的距离称为slop。默认情况下，slop的值为零，这可以通过调用setSlop方法进行设置。PhraseQuery还支持多个项短语。

列表7.使用PhraseQuery进行搜索

/*PhraseQueryexample:Searchmailsthathavephrase'jobopeningj2ee'

inthesubjectfield.*/

PhraseQueryquery=newPhraseQuery();

query.setSlop(1);

query.add(newTerm("subject","job"));

query.add(newTerm("subject","opening"));

query.add(newTerm("subject","j2ee"));

WildcardQuery

WildcardQuery实现通配符搜索查询，这允许您搜索arch*（可以查找包含architect、architecture等）之类的单词。使用两个标准通配符：

*表示零个以上

?表示一个以上

如果使用以通配符查询开始的模式进行搜索，则可能会引起性能的降低，因为这需要查询索引中的所有项以查找匹配文档。

列表8.使用WildcardQuery进行搜索

//Searchfor'arch*'tofinde-mailmessagesthathaveword'architect'inthesubject

field./

Queryquery=newWildcardQuery(newTerm("subject","arch*"));

FuzzyQuery

您可以使用FuzzyQuery搜索类似项，该类匹配类似于指定单词的单词。类似度测量基于Levenshtein（编辑距离）算法进行。在列表9中，FuzzyQuery用于查找与拼错的单词“admnistrtor”最接近的项，尽管这个错误单词没有索引。

列表9.使用FuzzyQuery进行搜索

/*Searchforemailsthathavewordsimilarto'admnistrtor'inthe

subjectfield.Notewehavemisspelledadmnistrtorhere.*/

Queryquery=newFuzzyQuery(newTerm("subject","admnistrtor"));

QueryParser

QueryParser对于解析人工输入的查询字符非常有用。您可以使用它将用户输入的查询表达式解析为Lucene查询对象，这些对象可以传递到IndexSearcher的搜索方法。它可以解析丰富的查询表达式。QueryParser内部将人们输入的查询字符串转换为一个具体的查询子类。您需要使用反斜杠（\）将*、?等特殊字符进行转义。您可以使用运算符AND、OR和NOT构建文本布尔值查询。

列表10.搜索人工输入的查询表达式

QueryParserqueryParser=newQueryParser("subject",newStandardAnalyzer());

//Searchforemailsthatcontainthewords'jobopenings'and'.net'and'pune'

Queryquery=queryParser.parse("jobopeningsAND.netANDpune");

回页首

显示搜索结果

IndexSearcher返回一组对分级搜索结果（如匹配给定查询的文档）的引用。您可以使用IndexSearcher的搜索方法确定需要检索的最优先搜索结果数量。可以在此基础上构建定制分页。您可以添加定制Web应用程序或桌面应用程序来显示搜索结果。检索搜索结果涉及的主要类包括ScoreDoc和TopDocs。

ScoreDoc

搜索结果中包含一个指向文档的简单指针。这可以封装文档索引中文档的位置以及Lucene计算的分数。

TopDocs

封装搜索结果以及ScoreDoc的总数。

以下代码片段展示了如何检索搜索结果中包含的文档。

列表11.展示搜索结果

/*Firstparameteristhequerytobeexecutedand

secondparameterindicatesthenoofsearchresultstofetch*/

TopDocstopDocs=indexSearcher.search(query,20);

System.out.println("Totalhits"+topDocs.totalHits);

//Getanarrayofreferencestomatcheddocuments

ScoreDoc[]scoreDosArray=topDocs.scoreDocs;

for(ScoreDocscoredoc:scoreDosArray){

//Retrievethematcheddocumentandshowrelevantdetails

Documentdoc=indexSearcher.doc(scoredoc.doc);

System.out.println("\nSender:"+doc.getField("sender").stringValue());

System.out.println("Subject:"+doc.getField("subject").stringValue());

System.out.println("Emailfilelocation:"

+doc.getField("emailDoc").stringValue());

}

基本的索引操作

基本的索引操作包括移除和提升文档。

从索引中移除文档

应用程序常常需要使用最新的数据更新索引并移除较旧的数据。例如，在Web搜索引擎中，索引需要定期更新，因为总是需要添加新网页，移除不存在的网页。Lucene提供了IndexReader接口允许您对索引执行这些操作。

IndexReader是一个提供各种方法访问索引的抽象类。Lucene内部引用文档时使用文档编号，该编号可以在向索引添加或从中移除文档时更改。文档编号用于访问索引中的文档。IndexReader不得用于更新目录中的索引，因为已经打开了IndexWriter。IndexReader在打开时总是搜索索引的快照。对索引的任何更改都可以看到，直到再次打开IndexReader。使用Lucene重新打开它们的IndexReader可以看到最新的索引更新。

列表12.从索引中删除文档

//DeleteallthemailsfromtheindexreceivedinMay2009.

IndexReaderindexReader=IndexReader.open(indexDirectory);

indexReader.deleteDocuments(newTerm("month","05"));

//closeassociateindexfilesandsavedeletionstodisk

indexReader.close();

提升文档和字段

有时您需要给某些索引数据更高的重要级别。您可以通过设置文档或字段的提升因子实现这一点。默认情况下，所有文档和字段的默认提升因子都是1.0。

列表13.提升字段

if(subject.toLowerCase().indexOf("pune")!=-1){

//Displaysearchresultsthatcontainpuneintheirsubjectfirstbysettingboostfactor

subjectField.setBoost(2.2F);

}

//Displaysearchresultsthatcontain'job'intheirsenderemailaddress

if(sender.toLowerCase().indexOf("job")!=-1){

luceneDocument.setBoost(2.1F);

}

回页首

扩展搜索

Lucene提供一个称为排序的高级功能。您可以根据指示文档在索引中相对位置的字段对搜索结果进行排序。用于排序的字段必须编制索引但不得标记。搜索字段中可以放入4种可能的项值：整数值、long值、浮点值和字符串。

还可以通过索引顺序排序搜索结果。Lucene通过降低相关度（比如默认的计算分数）对结果排序。排序的顺序是可以更改的。

列表14.排序搜索结果

/*Searchmailshavingtheword'job'insubjectandreturnresults

sortedbysender'semailindescendingorder.

*/

SortFieldsortField=newSortField("sender",true);

SortsortBySender=newSort(sortField);

WildcardQueryquery=newWildcardQuery(newTerm("subject","job*"));

TopFieldDocstopFieldDocs=

indexSearcher.search(query,null,20,sortBySender);

//Sortingbyindexorder

topFieldDocs=indexSearcher.search(query,null,20,Sort.INDEXORDER);

Filtering是限制搜索空间，只允许某个文档子集作为搜索范围的过程。您可以使用该功能实现对搜索结果进行再次搜索，或者在搜索结果上实现安全性。Lucene带有各种内置的过滤器，比如BooleanFilter、CachingWrapperFilter、ChainedFilter、DuplicateFilter、PrefixFilter、QueryWrapperFilter、RangeFilter、RemoteCachingWrapperFilter、SpanFilter等。Filter可以传递到IndexSearcher的搜索方法，以过滤匹配筛选标准的筛选文档。

列表15.筛选搜索结果

/*Filtertheresultstoshowonlymailsthathavesenderfield

prefixedwith'jobs'*/

Termprefix=newTerm("sender","jobs");

FilterprefixFilter=newPrefixFilter(prefix);

WildcardQueryquery=newWildcardQuery(newTerm("subject","job*"));

indexSearcher.search(query,prefixFilter,20);

回页首

结束语

Lucene是来自Apache的一个非常流行的开源搜索库,它为应用程序提供了强大的索引编制和搜索功能。它提供了一个简单易用的API，只需要稍微了解索引编制和搜索的原理即可使用。在本文中，您学习了Lucene架构及其核心API。

Lucene为许多知名网站和组织提供了各种强大的搜索功能。它还兼容许多其他编程语言。Lucene有一个活跃的大型技术用户社区。如果您需要一些易用、可扩展以及高性能的开源搜索库，ApacheLucene是一个极佳的选择。