Исправление парсера

This commit is contained in:
Mark Struchkov 2019-07-12 11:38:03 +03:00
parent 11489247fc
commit c7eda5c61d

View File

@ -1,10 +1,7 @@
package org.sadtech.autoresponder.util;
import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.util.stream.Collectors;
import java.util.stream.Stream;
@ -27,12 +24,13 @@ public class Parser {
/**
* Метод по разбиению строки на множество слов
*
* @param text Строка
* @return Множество слов
*/
public static Set<String> parse(String text) {
String[] split = text.split("\\P{L}+");
Set<String> words = new HashSet<>(Arrays.asList(split));
Set<String> words = Arrays.stream(split).map(String::toLowerCase).collect(Collectors.toSet());
words.removeAll(pretexts);
return words;
}