Исправление парсера
This commit is contained in:
parent
11489247fc
commit
c7eda5c61d
@ -1,10 +1,7 @@
|
||||
package org.sadtech.autoresponder.util;
|
||||
|
||||
import java.util.Arrays;
|
||||
import java.util.HashSet;
|
||||
import java.util.Set;
|
||||
import java.util.regex.Matcher;
|
||||
import java.util.regex.Pattern;
|
||||
import java.util.stream.Collectors;
|
||||
import java.util.stream.Stream;
|
||||
|
||||
@ -27,12 +24,13 @@ public class Parser {
|
||||
|
||||
/**
|
||||
* Метод по разбиению строки на множество слов
|
||||
*
|
||||
* @param text Строка
|
||||
* @return Множество слов
|
||||
*/
|
||||
public static Set<String> parse(String text) {
|
||||
String[] split = text.split("\\P{L}+");
|
||||
Set<String> words = new HashSet<>(Arrays.asList(split));
|
||||
Set<String> words = Arrays.stream(split).map(String::toLowerCase).collect(Collectors.toSet());
|
||||
words.removeAll(pretexts);
|
||||
return words;
|
||||
}
|
||||
|
Loading…
Reference in New Issue
Block a user