本文详细介绍了如何在Java中实现文本文件的停用词移除和词频统计功能。教程涵盖了文件读取、停用词列表的构建、文本清洗（包括大小写转换和标点符号处理）、基于分词的停用词高效移除，以及使用HashMap进行词频统计和排序输出Top N高频词的完整流程。
在自然语言处理（nlp）和文本分析中，预处理是至关重要的一步。其中，移除停用词（stop words）和统计词频是两项基本且常用的操作。停用词是指在文本中出现频率高但对文本含义贡献小的词语，如“的”、“是”、“在”等。移除它们可以减少数据量，提高分析效率和准确性。词频统计则能帮助我们了解文本的核心主题和关键词。本教程将指导您如何在java环境中高效地实现这些功能。
1. 环境准备与文件结构
为了演示，我们假设项目根目录下存在以下两个文本文件：
- hello.txt: 包含待处理的原始文本。
- stopwords.txt: 包含需要移除的停用词，每行一个或由空格分隔。
示例文件内容：
hello.txt
remove leave remove leave remove leave re move remov e leave remove hello remove world! This is a test.
stopwords.txt
立即学习“Java免费学习笔记（深入）”；
remove world is a
2. 文件内容读取与停用词解析
在Java中，推荐使用java.nio.file.Files类来方便地读取文件内容。它提供了简洁的方法来读取整个文件到字符串。同时，为了高效地查找停用词，我们应将其存储到一个Set集合中，并进行统一的大小写处理。
import java.io.IOException; import java.nio.charset.Charset; import java.nio.file.Files; import java.nio.file.Paths; import java.util.Arrays; import java.util.Comparator; import java.util.HashMap; import java.util.LinkedHashMap; import java.util.Map; import java.util.Set; import java.util.stream.Collectors; public class TextProcessor { public static void main(String[] args) { String helloFilePath = "hello.txt"; String stopWordsFilePath = "stopwords.txt"; int topN = 5; // 示例：统计Top 5高频词 try { // 1. 读取原始文本文件 String helloTxtContent = Files.readString(Paths.get(helloFilePath), Charset.defaultCharset()); // 2. 读取停用词文件 String stopWordsContent = Files.readString(Paths.get(stopWordsFilePath), Charset.defaultCharset()); System.out.println("--- 原始文本 ---"); System.out.println(helloTxtContent); // 3. 将停用词解析为Set，方便快速查找，并统一转换为小写 Set<String> stopWords = Arrays.stream(stopWordsContent.split("s+")) .map(String::trim) .map(String::toLowerCase) // 转换为小写，进行不区分大小写的匹配 .collect(Collectors.toSet()); System.out.println(" --- 停用词列表 ---"); System.out.println(stopWords); // 4. 调用停用词移除方法 String cleanedText = removeStopWords(helloTxtContent, stopWords); System.out.println(" --- 移除停用词后的文本 ---"); System.out.println(cleanedText); // 5. 调用词
评论（已关闭）
评论已关闭