Tutorial do Lucene: como indexar arquivos

package net.marcoreis.util;

import java.io.*;
import java.text.*;

import org.apache.log4j.*;
import org.apache.lucene.analysis.*;
import org.apache.lucene.analysis.standard.*;
import org.apache.lucene.document.*;
import org.apache.lucene.index.*;
import org.apache.lucene.store.*;
import org.apache.lucene.util.*;
import org.apache.tika.*;

public class Indexador {
private static Logger logger = Logger.getLogger(Indexador.class);
//{1}
private String diretorioDosIndices = System.getProperty("user.home")
+ "/indice-lucene";
//{2}
private String diretorioParaIndexar = System.getProperty("user.home")
+ "/Dropbox/MaterialDeEstudo/big-data";
//{3}
private IndexWriter writer;
//{4}
private Tika tika;

public static void main(String[] args) {
Indexador indexador = new Indexador();
indexador.indexaArquivosDoDiretorio();
}

public void indexaArquivosDoDiretorio() {
try {
File diretorio = new File(diretorioDosIndices);
apagaIndices(diretorio);
//{5}
Directory d = new SimpleFSDirectory(diretorio);
logger.info("Diretório do índice: " + diretorioDosIndices);
//{6}
Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_36);
//{7}
IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_36,
analyzer);
//{8}
writer = new IndexWriter(d, config);
long inicio = System.currentTimeMillis();
indexaArquivosDoDiretorio(new File(diretorioParaIndexar));
//{12}
writer.commit();
writer.close();
long fim = System.currentTimeMillis();
logger.info("Tempo para indexar: " + ((fim - inicio) / 1000) + "s");
} catch (IOException e) {
logger.error(e);
}
}

private void apagaIndices(File diretorio) {
if (diretorio.exists()) {
File arquivos[] = diretorio.listFiles();
for (File arquivo : arquivos) {
arquivo.delete();
}
}
}

public void indexaArquivosDoDiretorio(File raiz) {
FilenameFilter filtro = new FilenameFilter() {
public boolean accept(File arquivo, String nome) {
if (nome.toLowerCase().endsWith(".pdf")
|| nome.toLowerCase().endsWith(".odt")
|| nome.toLowerCase().endsWith(".doc")
|| nome.toLowerCase().endsWith(".docx")
|| nome.toLowerCase().endsWith(".ppt")
|| nome.toLowerCase().endsWith(".pptx")
|| nome.toLowerCase().endsWith(".xls")
|| nome.toLowerCase().endsWith(".txt")
|| nome.toLowerCase().endsWith(".rtf")) {
return true;
}
return false;
}
};
for (File arquivo : raiz.listFiles(filtro)) {
if (arquivo.isFile()) {
StringBuffer msg = new StringBuffer();
msg.append("Indexando o arquivo ");
msg.append(arquivo.getAbsoluteFile());
msg.append(", ");
msg.append(arquivo.length() / 1000);
msg.append("kb");
logger.info(msg);
try {
//{9}
String textoExtraido = getTika().parseToString(arquivo);
indexaArquivo(arquivo, textoExtraido);
} catch (Exception e) {
logger.error(e);
}
} else {
indexaArquivosDoDiretorio(arquivo);
}
}
}

private void indexaArquivo(File arquivo, String textoExtraido) {
SimpleDateFormat formatador = new SimpleDateFormat("yyyyMMdd");
String ultimaModificacao = formatador.format(arquivo.lastModified());
//{10}
Document documento = new Document();
documento.add(new Field("UltimaModificacao", ultimaModificacao,
Field.Store.YES, Field.Index.NOT_ANALYZED));
documento.add(new Field("Caminho", arquivo.getAbsolutePath(),
Field.Store.YES, Field.Index.NOT_ANALYZED));
documento.add(new Field("Texto", textoExtraido, Field.Store.YES,
Field.Index.ANALYZED));
try {
//{11}
getWriter().addDocument(documento);
} catch (IOException e) {
logger.error(e);
}
}

public Tika getTika() {
if (tika == null) {
tika = new Tika();
}
return tika;
}

public IndexWriter getWriter() {
return writer;
}
}

package net.marcoreis.util;

import java.io.*;

import javax.swing.*;

import org.apache.log4j.*;
import org.apache.lucene.analysis.*;
import org.apache.lucene.analysis.standard.*;
import org.apache.lucene.document.*;
import org.apache.lucene.index.*;
import org.apache.lucene.queryParser.*;
import org.apache.lucene.search.*;
import org.apache.lucene.store.*;
import org.apache.lucene.util.*;

public class Buscador {
private static Logger logger = Logger.getLogger(Buscador.class);
private String diretorioDoIndice = System.getProperty("user.home")
+ "/indice-lucene";

public void buscaComParser(String parametro) {
try {
Directory diretorio = new SimpleFSDirectory(new File(diretorioDoIndice));
//{1}
IndexReader leitor = IndexReader.open(diretorio);
//{2}
IndexSearcher buscador = new IndexSearcher(leitor);
Analyzer analisador = new StandardAnalyzer(Version.LUCENE_36);
//{3}
QueryParser parser = new QueryParser(Version.LUCENE_36, "Texto",
analisador);
Query consulta = parser.parse(parametro);
long inicio = System.currentTimeMillis();
//{4}
TopDocs resultado = buscador.search(consulta, 100);
long fim = System.currentTimeMillis();
int totalDeOcorrencias = resultado.totalHits;
logger.info("Total de documentos encontrados:" + totalDeOcorrencias);
logger.info("Tempo total para busca: " + (fim - inicio) + "ms");
//{5}
for (ScoreDoc sd : resultado.scoreDocs) {
Document documento = buscador.doc(sd.doc);
logger.info("Caminho:" + documento.get("Caminho"));
logger.info("Última modificação:" + documento.get("UltimaModificacao"));
logger.info("Score:" + sd.score);
logger.info("--------");
}
buscador.close();
} catch (Exception e) {
logger.error(e);
}
}

public static void main(String[] args) {
Buscador b = new Buscador();
String parametro = JOptionPane.showInputDialog("Consulta");
b.buscaComParser(parametro);
}
}