当前位置 主页 > 服务器问题 > Linux/apache问题 >

    使用python+whoosh实现全文检索

    栏目:Linux/apache问题 时间:2019-12-09 22:07

    whoosh的官方介绍:http://whoosh.readthedocs.io/en/latest/quickstart.html

    因为做的是中文的全文检索需要导入jieba工具包以及whoosh工具包

    直接上代码吧

    from whoosh.qparser import QueryParser 
    from whoosh.index import create_in 
    from whoosh.index import open_dir 
    from whoosh.fields import * 
    from jieba.analyse import ChineseAnalyzer 
    from get_comment import SQL 
    from whoosh.sorting import FieldFacet 
     
    analyser = ChineseAnalyzer()  #导入中文分词工具 
    schema = Schema(phone_name=TEXT(stored=True, analyzer=analyser), price=NUMERIC(stored=True), 
              phoneid=ID(stored=True))# 创建索引结构 
    ix = create_in("path", schema=schema, indexname='indexname') #path 为索引创建的地址,indexname为索引名称 
    writer = ix.writer() 
    writer.add_document(phone_name='name',price ="price",phoneid ="id") # 此处为添加的内容  
    print("建立完成一个索引") 
    writer.commit() 
    # 以上为建立索引的过程 
    new_list = [] 
    index = open_dir("indexpath", indexname='comment') #读取建立好的索引 
    with index.searcher() as searcher: 
      parser = QueryParser("要搜索的项目,比如“phone_name", index.schema) 
      myquery = parser.parse("搜索的关键字") 
      facet = FieldFacet("price", reverse=True) #按序排列搜索结果 
      results = searcher.search(myquery, limit=None, sortedby=facet) #limit为搜索结果的限制,默认为10,详见博客开头的官方文档 
      for result1 in results: 
        print(dict(result1)) 
        new_list.append(dict(result1))

    注:

    Whoosh 有一些很有用的预定义 field types,你也可以很easy的创建你自己的。

    whoosh.fields.ID

    这个类型简单地将field的值索引为一个独立单元(这意味着,他不被分成单独的单词)。这对于文件路径、URL、时间、类别等field很有益处。

    whoosh.fields.STORED

    这个类型和文档存储在一起,但没有被索引。这个field type不可搜索。这对于你想在搜索结果中展示给用户的文档信息很有用。

    whoosh.fields.KEYWORD

    这个类型针对于空格或逗号间隔的关键词设计。可索引可搜索(部分存储)。为减少空间,不支持短语搜索。

    whoosh.fields.TEXT

    这个类型针对文档主体。存储文本及term的位置以允许短语搜索。

    whoosh.fields.NUMERIC

    这个类型专为数字设计,你可以存储整数或浮点数。

    whoosh.fields.BOOLEAN

    这个类型存储bool型

    whoosh.fields.DATETIME

    这个类型为 datetime object而设计(更多详细信息)

    whoosh.fields.NGRAM 和 whoosh.fields.NGRAMWORDS

    这些类型将fiel文本和单独的term分成N-grams(更多Indexing & Searching N-grams的信息)

    以上这篇使用python+whoosh实现全文检索就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持IIS7站长之家。