从文本文件中提取单词：StringTokenizer 的替代方案

本文档旨在帮助开发者解决在使用 StringTokenizer 处理文本文件时遇到的首行读取问题。我们将探讨 StringTokenizer 的局限性，并提供一种更现代、更灵活的解决方案，使用 BreakIterator 和 Java 8 Stream API 从文本文件中提取所有单词，并将其存储到 ArrayList 中。

问题分析：StringTokenizer 的局限性

最初的代码尝试使用 BufferedReader 逐行读取文件，并使用 StringTokenizer 将每行分解为单词。然而，代码跳过了文件的第一行，因为在进入 while 循环之前调用了 reader.readLine() 一次。此外，StringTokenizer 在处理复杂的文本时可能不够灵活，例如包含标点符号或特殊字符的单词。

解决方案：BreakIterator 和 Java 8 Stream API

为了更有效地提取单词，我们可以使用 BreakIterator 类，它提供了用于定位文本中的单词边界的工具。结合 Java 8 Stream API，我们可以简化代码并提高可读性。

以下是使用 BreakIterator 和 Stream API 的示例代码：

import java.text.BreakIterator; import java.util.ArrayList; import java.util.List; import java.util.stream.Stream; import java.nio.file.Files; import java.nio.file.Paths; import java.io.IOException;  public class wordCollector {      public static void main(String[] args) {         try {             List<String> words = WordCollector.getWords(Files.lines(Paths.get(args[0])));             System.out.println(words);         } catch (IOException e) {             System.err.println("Error reading file: " + e.getMessage());             e.printStackTrace();         } catch (Throwable t) {             t.printStackTrace();         }     }      public static List<String> getWords(Stream<String> lines) {         List<String> result = new ArrayList<>();         BreakIterator boundary = BreakIterator.getWordInstance();         lines.forEach(line -> {             boundary.setText(line);              int start = boundary.first();             for (int end = boundary.next(); end != BreakIterator.DONE; start = end, end = boundary.next()) {                 String candidate = line.substring(start, end).replaceAll("p{Punct}", "").trim();                 if (candidate.length() > 0) {                     result.add(candidate);                 }             }         });         return result;     } }

代码解释：

问问小宇宙

问问小宇宙是小宇宙团队出品的播客AI检索工具

77

查看详情

1. getWords(Stream<String> lines) 方法：

   • 接收一个 Stream<String> 对象，表示文件的所有行。
   • 创建一个 ArrayList 来存储提取的单词。
   • 使用 BreakIterator.getWordInstance() 获取一个用于查找单词边界的 BreakIterator 实例。
   • 使用 lines.foreach() 遍历每一行。
   • 对于每一行，使用 boundary.setText(line) 设置 BreakIterator 的文本。
   • 使用 boundary.first() 获取第一个单词的起始位置。
   • 使用一个 for 循环，通过 boundary.next() 迭代单词边界。
   • 使用 line.substring(start, end) 提取候选单词。
   • 使用 replaceAll(“p{Punct}”, “”) 删除标点符号。p{Punct} 是一个正则表达式，匹配任何标点字符。
   • 使用 trim() 删除前导和尾随空格。
   • 如果候选单词的长度大于 0，则将其添加到结果列表中。
   • 返回包含所有提取单词的 ArrayList。

2. main(String[] args) 方法：

   • 使用 Files.lines(Paths.get(args[0])) 从命令行参数指定的文件中读取所有行，并创建一个 Stream<String> 对象。
   • 调用 getWords() 方法来提取单词。
   • 打印提取的单词。
   • 处理 IOException 和其他 Throwable 异常。

使用方法：

1. 将代码保存为 WordCollector.java。
2. 使用 javac WordCollector.java 编译代码。
3. 使用 java WordCollector <filename> 运行代码，其中 <filename> 是要处理的文本文件的名称。

注意事项和总结

• 此解决方案使用 BreakIterator 来更准确地识别单词边界，并使用 Java 8 Stream API 来简化代码。
• 使用 replaceAll(“p{Punct}”, “”) 可以删除标点符号，但您可以根据需要调整正则表达式以满足您的特定需求。
• 确保在 main 方法中正确处理异常，以避免程序崩溃。
• StringTokenizer 在简单场景下仍然可用，但在处理复杂文本时，BreakIterator 和 Stream API 提供了更强大和灵活的替代方案。

通过使用 BreakIterator 和 Stream API，您可以更有效地从文本文件中提取单词，并避免 StringTokenizer 带来的问题。此解决方案提供了更高的灵活性和可读性，使其成为处理文本数据的更好选择。