Архив Парсинг

Дубли одного человека из двух чатов: какие поля не выбрасывать

Практический разбор для темы «дубли одного человека из двух чатов»: что проверить, какие ошибки типичны и как не отдать сырой файл в следующий модуль.

3 мин чтения

Один человек в двух чатах — это один адресат, если дальше будет сообщение или инвайт. В файле парсинга это две строки. Без сверки по id вы дважды потратите действие и дважды попадёте в отчёт.

Речь именно про «дубли одного человека из двух чатов». Ниже не обещание результата кампании, а порядок проверки, после которого файл или задачу можно либо остановить, либо осознанно увеличить.

Что именно проверить

Не удаляйте колонку, по которой строку можно проверить: id, источник, статус, исходное имя. Красивый короткий файл без идентификатора уже нельзя ни сверить, ни вычесть из следующего запуска.

Практический список для этой темы:

  • Сведите дубли по id, не по имени: имена совпадают у разных людей.
  • Сохраните оба источника в отдельной колонке, прежде чем схлопнуть строки.
  • Посчитайте, какая доля файла — повторы.
  • Не схлопывайте строки без id: их нечем склеить надёжно.

Пример, который можно повторить

Возьмите человека, которого видите в двух чатах, и найдите обе строки. После сверки должна остаться одна, с пометкой обоих чатов. Если программа склеила по имени и склеила разных людей, правило свёртки неверное.

Если на этом примере отчёт и то, что вы видите в Telegram, расходятся, увеличивать объём рано. Сначала добейтесь совпадения на известных вам строках.

Частые ошибки

  • Склеивать по отображаемому имени.
  • Удалять дубль вместе с пометкой источника.
  • Запускать рассылку по сырому файлу из нескольких чатов.

Что делать с результатом

Сохраните исходный файл, копию пробы и отчёт. В имени должны быть дата и источник. Следующий модуль получает только ту копию, которую вы уже открывали. Строки с непонятным статусом не кладите ни в успех, ни в повтор, пока не разберёте одну такую строку. Если правка касалась формата колонки, повторите ту же короткую пробу, а не новый полный список.

Deskgram 2 в этом сценарии

В Deskgram 2 есть парсер аудитории: программа для Windows и macOS, модули полного набора входят в подписку. На момент карточки каталога это 2 190 ₽ в месяц. Аккаунты, прокси, Premium и внешние запросы к ИИ в эту сумму не входят. Секретные чаты программа не поддерживает. Мы не измеряли скорость и не обещаем, что любой файл пройдёт: карточка описывает состав, а не результат вашей базы.

Другие программы с этой задачей и без подмены чужих обещаний собраны в теме парсинга.