Поиск и объединение дублей
При накоплении большого объема информации неизбежно возникает проблема дубликатов, которая может привести к искажению данных. BPMSoft предлагает широкий набор инструментов для поиска и объединения дубликатов в системе. Вместо того чтобы тратить время на ручной анализ и обработку повторяющихся записей, пользователи BPMSoft могут использовать специальные функции для автоматического обнаружения и слияния дублей, что значительно упрощает процесс поддержания чистоты данных.
Массовый поиск дубликатов позволяет искать дубли по всей базе данных вручную или автоматически по расписанию. При сохранении новой записи также выполняется анализ на наличие дубликата данной записи в BPMSoft. Вы можете Объединение записей как по результатам поиска дубликатов, так и без запуска процесса поиска дублей.
Настройка правил поиска дублей
Запуск поиска дубликатов доступен только в случае, если в раздел добавлено хотя бы одно правило поиска. По умолчанию правила преднастроены для разделов «Контакты», «Контрагенты», и «Лиды». Вы можете изменить настройки существующих правил, а также добавить собственные правила поиска дубликатов для других разделов, включая пользовательские. Для этого перейдите в раздел «Правила поиска дублей» дизайнера системы.
Примечание. Чтобы использовать функции дедупликации для текущей учетной записи должны быть предоставлены права доступа к системной операции «Поиск дублей», а также права на чтение и изменение записей тех разделов, в которых предполагается выполнять поиск дублей. Подробнее: Системные операции
Рисунок 1 — Раздел «Правила поиска дублей»
Для добавления правила поиска дублей воспользуйтесь кнопкой «Добавить правило». Откроется страница настройки нового правила поиска. В выпадающем списке «Тип» выберите раздел, для которого создается правило.
Чтобы добавить условия правила нажмите кнопку 
на детали «Атрибуты».
Откроется окно выбора колонки, по которой будет проверяться наличие дублей в BPMSoft. Выберите колонку и подтвердите действие кнопкой «Сохранить».
Рисунок 2 — Окно выбора колонки для добавления условия правила
Таким образом, вы можете оставить одно условие или добавить несколько условий для правила, чтобы запись считалась дублем только при совпадении всех условий, внесенных на деталь «Атрибуты». Если вы хотите, чтобы запись считалась дублем при совпадении значения хотя бы одного поля, то создайте отдельное правило для каждого из условий.
При этом, если условия нескольких правил пересекаются, то BPMSoft будет применять правило, у которого добавлено меньшее количество условий. Например, если для раздела «Контрагенты» добавлены два правила для поиска дубликатов: Дубли контрагентов. Название контрагента» и «Дубли контрагентов. Название контрагента, Телефон», то BPMSoft будет использовать первое правило и искать совпадения только по названию контрагента.
Примечание. При анализе полей, содержащих несколько слов, BPMSoft будет считать дублями не только точно совпадающие значения, но и те, которые совпадают частично по одному или нескольким словам. Например, при поиске дубликатов по ФИО контактов, дублями будут считаться не только полностью совпадающие ФИО, но и контакты, у которых совпадают только имена, например со значениями в поле ФИО «Шевцова Анна Витальевна» и «Анна».
Настройка поиска дублей по расписанию
Вы можете настроить автоматический запуск поиска дублей в системе по расписанию.
Перейдите в раздел дизайнер системы «Правила поиска дублей» и нажмите «Действия» → «Настроить автоматический поиск дублей».
Откроется страница настройки поиска дублей по расписанию. В таблице выберите раздел, для которого требуется настроить автоматический поиск дублей. В таблице отображаются только те разделы, для которых настроено хотя бы одно правило поиска. Далее в правой части страницы выберите один или несколько дней недели и время запуска процесса поиска.
Примечание. Рекомендуется выбирать период наименьшей нагрузки на систему, например, ночное время.
После окончания настройки расписания нажмите кнопку «Применить настройки».
Таким образом, процесс поиска дублей будет автоматически запускаться в заданный период и осуществлять поиск по всем правилам с установленным признаком «Активен».
Если потребуется отключить автоматический запуск процесса поиска дублей, то снова откройте страницу настройки поиска дублей по расписанию и снимите признаки с выбранных дней недели и/или очистите поле со временем запуска процессов. Автоматический запуск процесса будет отключен.
Поиск дубликатов
Массовый поиск дубликатов
Для перехода на страницу найденных дублей откройте раздел, в котором требуется произвести поиск и в выпадающем меню «Действия» выберите пункт «Перейти к дублям раздела».
Если процесс поиска дублей еще ни разу не был запущен, то на открывшейся странице отобразится уведомление с предложением запуска поиска. Запустите процесс нажатием кнопки «Запустить поиск дублей» в уведомлении или выберите одноименный пункт в выпадающем меню «Действия».
Рисунок 3 — Запуск поиска дублей
Примечание. Вы можете настроить автоматический запуск поиска дублей по расписанию. Подробнее в главе «Настройка поиска дублей по расписанию» данной статьи.
После запуска процесса система в фоновом режиме проанализирует записи по установленным правилам поиска дубликатов — во время работы процесса вы можете продолжать работу в BPMSoft. По завершению вы получите уведомление в коммуникационной панели.
Поиск дубликатов при добавлении новой записи
В момент сохранения новой записи в разделах, для которых настроены правила дедупликации, запускается процесс локального поиска дубликатов — согласно правилам, BPMSoft сравнивает значения сохраняемой записи с уже существующими. Если в ходе процесса были найдены дубликаты, то откроется страница, сообщающая о найденных похожих записях.
Рисунок 4 — Страница с найденными похожими записями
На странице отобразится список похожих записей. Если вы уверены, что данная запись не является дублем или хотите сохранить дублирующуюся запись, то воспользуйтесь кнопкой «Сохранить». Также вы можете скорректировать значения на сохраняемой записи вернувшись к ней с помощью кнопки «Вернуться к редактированию».
Примечание. Если у текущего пользователя нет прав доступа на просмотр записей реестра, то ему отобразятся только те колонки со значениями, по которым найдены совпадения с сохраняемой записью.
Виджет дублей на странице записи
На страницы разделов «Контакты», «Контрагенты» и «Лиды» в верхнюю часть профиля записи выведен виджет дублей, отображающий возможное количество дублей для текущей записи.
Рисунок 5 — Виджет дублей на странице контакта
Виджет отображается на страницах, если:
- Для раздела добавлены и активны правила поиска дублей;
- Настроены массовый поиск дублей и глобальный поиск;
- В системе активирована функция «Виджет дублей». AdminUnitFeatureState_DuplicatesWidget). Подробнее: Включить функциональность
Нажав на данный виджет, вы перейдете к просмотру и слиянию дублей на страницу дублей. Запись, со страницы которой вы перешли к просмотру дублей, обозначается пометкой «Текущий». Принцип работы на открывшейся странице не отличается от работы с дубликатами на странице массового поиска дубликатов.
Рисунок 6 — Страница найденных к текущей записи дублей
Если для текущей записи не будут найдены дубли, то на виджете будет отображаться соответствующее сообщение и переход на страницу дублей при нажатии на виджет не будет произведен.
Механизм поиска дублей
Для поиска дубликатов применяется тот же сервис, что и для глобального поиска.
При поиске осуществляется индексирование информации: удаляются все особенные символы, остальные знаки разделяются на группы из двух или трех символов и затем записываются в индекс, используемый для последующего поиска. В процессе индексации исходные записи разделов не редактируются.
При сохранении новой записи применяется следующий механизм локального поиска дубликатов:
- Значения записи индексируются, после чего отправляются в Сервис глобального поиска для поиска записей, включающих в себя проиндексированные символы.
- Согласно правилам, настроенным для локального поиска, отображаются все найденные совпадения, в том числе, будут найдены дубликаты со значениями с перестановкой слов.
Процесс массового поиска дубликатов независимо от типа запуска производится аналогичным образом согласно правилам поиска с установленным признаком «Активен».
Работа с дублями записей раздела
Слияние записей дублей раздела
Перейдите к дублям раздела или нажмите на уведомление о завершении поиска – откроется страница с найденным списком дублирующихся записей.
На панели инструментов страницы отображаются количественные показатели итогов поиска, если:
- Для раздела добавлены и активны правила поиска дублей;
- Настроены массовый поиск дублей и глобальный поиск;
- В системе включена функциональность «ShowBulkDuplicatesSummary». Подробнее о включении функциональности в BPMSoft смотрите в статье Механизм управления функциональностью «Feature Toogle».
Итоги поиска дублей содержат следующие показатели:
- Значение поля «Группы» — количество групп, в которые объединены дублирующиеся записи по схожим параметрам;
- Значение поля «Дубли» — общее количество найденных дублирующихся записей во всех группах.
Рисунок 7 — Страница со списком дублирующихся записей раздела
Примечание. Для удобства вы можете вывести дополнительные колонки или изменить существующие в реестре дублей с помощью действия «Настройка списка» в выпадающем меню «Настройки вида». Подробнее: Настройка колонок реестра записей
Примечание. При включенной функциональности «DuplicatesPageFilters» отображается область настройки фильтра, с помощью которого вы можете отобразить список дублей, соответствующих заданным условиям. Подробнее: Фильтрация и группировка
На странице вы можете объединить группу дублей в единую запись. Для этого выделите в группе подлежащие к объединению записи и нажмите кнопку «Объединить».
Рисунок 8 — Выбор дублирующихся записей для объединения
Если у записей нет взаимоисключающих значений (например, разных номеров телефона), то записи будут объединены автоматически — уведомление об успешном слиянии записей отобразится в области уведомлений коммуникационной панели.
Рисунок 9 — Уведомление об успешном слиянии дублей
При объединении записей с взаимоисключающими значениями откроется окно конфликтующих значений.
Рисунок 10 — Объединение записей с взаимоисключающими значениями
Отметьте кнопкой 
значения, которые требуется сохранить в итоговую объединенную запись и нажмите кнопку «Объединить».
Рисунок 11 — Окно выбора значений объединённой записи
После успешного слияния на коммуникационной панели также появится уведомление.
При объединении записей результирующая будет обладать следующими свойствами:
- Для результирующей записи установится самая ранняя дата создания из объединяемых записей;
- Информация из всех заполненных полей и деталей объединяемых записей будет сохранена в результирующей: в окончательной записи будут содержаться все активности, звонки и другие связанные записи;
- Совпадающие значения средств связи, адресов и знаменательных событий в результирующей записи сохраняются без дублирования;
- Внешние ссылки, которые вели на объединяемые записи будут заменены ссылкой на результирующую запись. Например, если объединяемые записи контактов были указаны в качестве основного контакта различных контрагентов, то после объединения, основными контактами контрагентов будет указана результирующая запись;
- Сообщения ленты всех объединяемых записей будут перенесены в результирующую запись.
Объединение записей без поиска дублей
Вы можете вручную объединить несколько записей реестра любого раздела или справочника, не запуская процесс поиска дублей.
Для ручного объединения перейдите в реестр записей и выделите несколько записей, которые требуется объединить, после чего в выпадающем меню «Действия» выберите пункт «Объединить записи».
Примечание. Вы можете выделить записи зажав клавишу Ctrl, выбрать диапазон удерживая клавишу Shift или выбрать записи по кнопке «Выбрать несколько записей» в меню «Действия».
Рисунок 12 — Переход к действию «Объединить записи»
При наличии взаимоисключающих значений в объединяемых записях откроется окно выбора значений результирующей записи. В окне выберите значения, которые будут сохранены в результирующую запись и нажмите кнопку «Объединить».
Примечание. Права на использование функции ручного слияния записей по умолчанию предоставлены только роли системного администратора. Для того, чтобы предоставить доступ к данному действию для других пользователей, добавьте нужные роли в системной операции «Обработка дублей». Подробнее: Системные операции
Исключение записей из списка дублей
Записи, не являющиеся дубликатами, можно исключить из списка дублей. Например, в BPMSoft могут присутствовать несколько клиентов с совпадающими ФИО. Выделите записи всей группы и нажмите кнопку «Не считать дублями» — таким образом, группа с данными записями не будет больше отображаться в списке при последующих запусках процесса дедупликации. Однако, если появятся другие похожие записи, группа снова будет показана на странице поиска дублей.
Рисунок 13 — Пример записей, не являющихся дубликатами
