Quantcast
Channel: OSCHINA 社区最新新闻
Viewing all articles
Browse latest Browse all 44787

Jcseg 1.9.8 发布,新增检索模式/细粒度切分

$
0
0

Jcseg是基于mmseg算法的一个轻量级开源中文分词器,同时集成了关键字提取,关键短语提取,关键句子提取和文章自动摘要等功能,并且提供了最新版本的lucene, solr, elasticsearch的分词接口。

Jcseg 1.9.8 更新内容:

  1. 增加检索切分模式(SEARCH_MODE),实现细粒度切分,专业为搜索。

  2. 增加DictionaryFactory#createSingletonDictionary,用于创建单例词库。

  3. 将analyzer,elasticsearch接口词库更改为单例创建,节省内存,同时避免了多实例的下词库自动加载无法全局更新的问题。

  4. 提供对lucene,solr 6.0以上版本的支持,elasticsearch 2.3.1以上版本的支持。

  5. 增加JcsegAnalyzer5X如下构造方法方便lucene应用的打包发布:

    JcsegAnalyzer5X(int mode, String proFile)
    JcsegAnalyzer5X(int mode, JcsegTaskConfig config)
    JcsegAnalyzer5X(int mode, JcsegTaskConfig config, ADictionary dic)
  6. 代码格式标准化,例如:4空格代替tab,花括号的换行等。

  7. 词库优化(去除些许无用词,完善部分词条词性定义)。

  8. 修复jcseg-server.properties#jcseg_global_setting名称错误, 更改为:jcseg_global_config。

  9. 修复JcsegServer#http_config设置bug和TokenizerController#pos拼写错误。


Viewing all articles
Browse latest Browse all 44787

Trending Articles