Разбор Парсинг
Что фильтры активности говорят о базе Telegram
Как учитывать неизвестные значения и не выдавать отфильтрованный список за заинтересованную аудиторию.
Фильтр отвечает на вопрос о доступных данных. Он не устанавливает намерение человека читать канал, покупать услугу или получать сообщения. Перед отбором запишите вопрос и объясните, какое наблюдаемое поле помогает ответить на него. Если связи нет, уменьшение файла само по себе не улучшает качество.
Различайте значение и отсутствие данных
Telegram предусматривает настройки приватности и приблизительные статусы присутствия. Метку «недавно» нельзя превращать в точное время действия. Отсутствующее поле также не доказывает, что человек давно не пользовался сервисом. Обозначения экспорта нужно сверить с документацией программы.
| Наблюдение | Допустимая запись | Необоснованный вывод |
|---|---|---|
| Приблизительный статус | Строки с такой меткой | Точное время визита |
| Пустое поле | Значение не получено | Аккаунт неактивен |
| Подтверждён признак бота | Запись выделена по этому полю | Все остальные записи принадлежат людям |
| Почти всё исключено | Нужно проверить правило | Источник заведомо бесполезен |
Проверьте правило на объяснимой выборке
Выберите небольшой разрешённый набор с разными значениями поля. Сохраните его до фильтрации. Для исключённой строки должно быть понятно, какое условие сработало. Не проверяйте точность только по итоговому количеству: одинаковый результат дают разные ошибки.
Изменяйте одно условие за раз. При одновременном переключении нескольких признаков причину результата установить сложнее. Сохраните версию программы и настройки рядом с файлом.
Не достраивайте портрет человека
Язык одного фрагмента bio не определяет язык общения человека. Отметка Premium не подтверждает интерес, платёжеспособность или согласие на контакт. Эти признаки можно описывать только в пределах наблюдаемого; готовый портрет клиента из них не следует.
Отсутствие username также ничего не говорит об интересах. Если поле необходимо следующему инструменту, это ограничение совместимости файла. Сначала выясните допустимый ввод, затем решайте, какой набор сохранять.
Сохраните воспроизводимый вывод
Запишите источник, правило, обработку неизвестных значений и числа строк до и после. Отдельно учтите дубли: аккаунт из разных источников может остаться несколько раз. Отчёт должен объяснять включение и исключение записи.
Если смысл поля не подтверждён, отложите основанный на нём отбор. Вернуться после уточнения полезнее, чем объявить неизвестные записи нецелевыми. Структура файла и повторы разобраны в гайде об экспорте.
