Исправление парсера

This commit is contained in:
Mark Struchkov 2019-07-12 11:38:03 +03:00
parent 11489247fc
commit c7eda5c61d

View File

@ -1,10 +1,7 @@
package org.sadtech.autoresponder.util; package org.sadtech.autoresponder.util;
import java.util.Arrays; import java.util.Arrays;
import java.util.HashSet;
import java.util.Set; import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.util.stream.Collectors; import java.util.stream.Collectors;
import java.util.stream.Stream; import java.util.stream.Stream;
@ -27,12 +24,13 @@ public class Parser {
/** /**
* Метод по разбиению строки на множество слов * Метод по разбиению строки на множество слов
*
* @param text Строка * @param text Строка
* @return Множество слов * @return Множество слов
*/ */
public static Set<String> parse(String text) { public static Set<String> parse(String text) {
String[] split = text.split("\\P{L}+"); String[] split = text.split("\\P{L}+");
Set<String> words = new HashSet<>(Arrays.asList(split)); Set<String> words = Arrays.stream(split).map(String::toLowerCase).collect(Collectors.toSet());
words.removeAll(pretexts); words.removeAll(pretexts);
return words; return words;
} }