Гайд Парсинг
Как проверить экспорт парсера и убрать дубли
Поля, происхождение строк и повторяющиеся записи: порядок проверки файла перед анализом или согласованным импортом.
Экспорт проверяют под конкретную следующую задачу. Для анализа источников важна связь записи с площадкой, для импорта — требования принимающей программы. До преобразований сохраните исходник и запишите, когда, откуда и с какими настройками он получен.
Сначала опишите столбцы
Перечислите названия полей, их смысл и способ представления пустых значений. Отображаемое имя не считайте уникальным идентификатором. Поддержку username, числового идентификатора или другого поля проверяйте у получателя файла. Не дописывайте отсутствующие сведения ради заполненной таблицы.
| Поле | Что проверить | Как обращаться с неизвестным |
|---|---|---|
| Идентификатор | Тип и сохранность значения | Не восстанавливать из имени |
| Username | Отдельный столбец и случайные пробелы | Не придумывать отсутствующее |
| Источник | Ссылка или метка площадки | Пометить неизвестное происхождение |
| Дата | Единый формат и часовой пояс | Не заменять датой открытия файла |
Разделите записи и людей
Один человек может встретиться в двух разрешённых источниках. Для подсчёта людей нужна подходящая подтверждённая идентификация, а для исследования площадок обе записи могут оставаться полезными. Удаление одинаковой строки и объединение записей одного человека — разные действия.
Не объединяйте людей только по имени или фотографии. Сохраните журнал преобразований, чтобы вернуться от результата к исходным строкам. Пример не задаёт формат конкретного импортёра.
Проверьте сохранение файла
- Сделайте рабочую копию и откройте подходящим редактором.
- Сверьте разделитель и число столбцов на разных строках.
- Проверьте длинные числа, начальные нули и символы имени.
- Сохраните копию, откройте заново и повторите сравнение.
- Сопоставьте исходное число строк, удалённые повторы и итог.
Если числа не сходятся, не передавайте файл дальше. Сначала найдите операцию, изменившую результат. Пустая строка, заголовок и повтор человека не должны незаметно попадать в один счётчик «удалено».
Не назначайте очистку по календарю
Повторная проверка нужна при смене источника, требований импортёра или обнаружении ошибки. Слово «еженедельная» не делает очистку полезной. Запишите основание обновления и изменившиеся поля. Старая дата не даёт права заменить неизвестное значение догадкой.
Готовность экспорта не подтверждает основание для приглашений или сообщений. Требования к входному файлу разобраны в гайде о базе, смысл отбора — в материале о фильтрах.
