分词检索java源代码 java 分词库

用java读取文档并分词。

用Java的StringTokenizer可以直接将字符串按照空格进行分词。

站在用户的角度思考问题，与客户深入沟通，找到西藏网站设计与西藏网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：成都网站设计、网站制作、企业官网、英文网站、手机端网站、网站推广、域名与空间、网页空间、企业邮箱。业务覆盖西藏地区。

两遍扫描，第一遍扫描b.txt，提取关键字，保存到一个Hash查找表结构中（查找快），第二遍扫描a.txt，在Hash查找表中找出现的元素。

1。用jacob.其实jacob是一个bridage，连接java和com或者win32函数的一个中间件，jacob并不能直接抽取word，excel等文件，需要自己写dll哦，不过已经有为你写好的了，就是jacob的作者一并提供了。

分词器一般都有这些方法吧，比如MMAnalyzer中有tokenStream或者segment等方法，自己搜搜吧。至于写文件，网上一大堆，lz还是自己多搜索，少提问吧。

写在最后：1)建议使用第一种方法，因为在java 内部实现的查找操作其实 和你想得思路是相同的，不过他的效率会高些。2)如果个人的编程能力比较强或是不考虑效率只是想实现专有的分词算法。可以使用第二种方法。

谁有java的ngram的分词检索的源代码

1、第一，使用N_Gram方式建立数据库的全文检索，要求可以对导入句子进行全文检索方式的模糊查询。第二， 能够统计出检索内容所耗时间。第三， 支持中英，和英中两种方式的检索。

2、Apache Lucene：是一个开放源代码的全文检索引擎工具包，是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。官网 安全 用于处理安全、认证、授权或会话管理的函数库。 Apache Shiro：执行认证、授权、加密和会话管理。

3、word分词是一个Java实现的分布式的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。

Java中文分词算法

1、String或是StringBuffer(建议用) 中的indexOf(中华)方法，查找给定的的字符串中是否有给定词表中的词。借鉴编译原理中的状态装换的思想。先编写一个状态机，用于测试给定字符串中的词是否满足词表中的内容。

2、MMSEG4J基于Java的开源中文分词组件，提供lucene和solr 接口：1．mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法实现的中文分词器，并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。

3、因为Lucene自带的分词器比较适合英文的分词，而IK首先是一个中文的分词器。