Исправление парсера
This commit is contained in:
parent
11489247fc
commit
c7eda5c61d
@ -1,10 +1,7 @@
|
|||||||
package org.sadtech.autoresponder.util;
|
package org.sadtech.autoresponder.util;
|
||||||
|
|
||||||
import java.util.Arrays;
|
import java.util.Arrays;
|
||||||
import java.util.HashSet;
|
|
||||||
import java.util.Set;
|
import java.util.Set;
|
||||||
import java.util.regex.Matcher;
|
|
||||||
import java.util.regex.Pattern;
|
|
||||||
import java.util.stream.Collectors;
|
import java.util.stream.Collectors;
|
||||||
import java.util.stream.Stream;
|
import java.util.stream.Stream;
|
||||||
|
|
||||||
@ -27,12 +24,13 @@ public class Parser {
|
|||||||
|
|
||||||
/**
|
/**
|
||||||
* Метод по разбиению строки на множество слов
|
* Метод по разбиению строки на множество слов
|
||||||
|
*
|
||||||
* @param text Строка
|
* @param text Строка
|
||||||
* @return Множество слов
|
* @return Множество слов
|
||||||
*/
|
*/
|
||||||
public static Set<String> parse(String text) {
|
public static Set<String> parse(String text) {
|
||||||
String[] split = text.split("\\P{L}+");
|
String[] split = text.split("\\P{L}+");
|
||||||
Set<String> words = new HashSet<>(Arrays.asList(split));
|
Set<String> words = Arrays.stream(split).map(String::toLowerCase).collect(Collectors.toSet());
|
||||||
words.removeAll(pretexts);
|
words.removeAll(pretexts);
|
||||||
return words;
|
return words;
|
||||||
}
|
}
|
||||||
|
Loading…
Reference in New Issue
Block a user