Запуск сразу нескольких парсеров (обсуждение)

[Nouspass]

Создал 3 копии парсера и запустил разом с разными настройками, для трех разных тг ботов, ну у них всех один единый mobileproxy. Не будет ли из-за этого возникать конфликтов?

[darkvovich]

Вероятность блокировки повышается, лучше 1 парсинг за раз

[Duff89]

@Nouspass кратно повышается шанс блокировки и рушит всю логику работы. Одна копия к примеру меняет IP, другая парсит в это же время - последствия явно будут. Варианта 2:

1. Использовать для каждой копии свой прокси
2. Использовать 1 копию и в ней все ссылки
   А зачем использовать 3 копии? Чего не хватает?

[uka1992]

Наверняка разные базы собирает. От меня такой запрос приходил с аналогичной проблемой и просьбой внедрить запус без цикла, прогнали один раз парсинг и готово, перехожу к следующему парсингу на том же прокси.

[Duff89]

В таком случае можно просто подождать след. версию, там будет такая возможность из коробки

[Nouspass]

@Duff89 Нашёл решение для себя, создал маленькую программу которая по очереди запускает парсеры с нужными настройками, было бы клёво увидеть что то подобное в следующих версиях. Условно что бы парсер прогонял сначала одни ссылки и они шли в один excel и тг бота, потом вторые и они шли в другой и тд. Ну или по очереди прогонял один файл с настройками, потом второй, и тд. И так по круг,
Если это конечно покажется вам хороший идей для будущих обновлений.

[Nouspass]

@Duff89 Ну и да, вы были правы, сегодня пол дня работал только один парсер и всё как часики

[Duff89]

Скорее всего в след. версии будет так:

1. появится опция типа "одноразовый запуск". Логика: все ссылки отработали - программа закрылась и написала в телегу (если указана конечно)
2. парсинг каждой ссылки будет идти в отдельный свой Excel файл, причем уже в любом режиме (или тоже вынести как опцию?) UPDATE: будет как опция
3. Отдельный тг для каждой ссылки пока не буду делать, это будет в уже большом обновлении (явно не так быстро), там появятся профили для каждой ссылки, т.е. настройки будут уже не глобальные, а для каждой ссылки свои
   Принимаю все пожелания и советы на данный счет, т.к. до конца пока сам не решил

[Nouspass]

@Duff89 Как же офигенно видеть от вас такую отдачу) Надеюсь многие подключаться к этом обсуждению, у вас очень хороший проект, который живет и дышит благодаря вам.
Насчет второго пункта, я думаю лучше это сделать как опцию, иногда нужно парсить сразу несколько ссылок ну собирать информацию в один кластер скажем так.
Ещё была идея сделать среднее значение в excel в таблицах по цене, условно за последние (100...1000...5000...) отпарсенных объяв, ну что бы это так же отправлялось в тг как только выставленный порог условно в 1000 объявлений будет отпарсен и закреплялось в том же боте отдельным сообщений (Средняя цена: 20534 рублей), это бы помогло в реальном времени отслеживать рынок по выбранному товару. Ну если прям совсем улететь во влажные мечты то ещё и его низы и хаи так скажем, ну тут я вообще не представляю как это реализовать можно.
Ещё волнует вопрос частых блокировок, ближе к вечеру и по сей момент все ip улетают в бан и парсит прям с трудом, раз в пол часа если так можно выразиться бэкдор пробивает и отпарсит, и по новой выдаёт 429, иногда по несколько часов это длиться, иногда все работает идеально, хотелось бы понять почему так происходит, хотя парсит один парсер по двум ссылкам с перерывом в 60 секунд и перерывом в 10 секунд между ссылками.
А так пожеланий ещё море, позже попытаюсь их грамотно изложить. Ещё раз огромное вам спасибо за ваши труды!

[uka1992]

1. появится опция типа "одноразовый запуск". Логика: все ссылки отработали - программа закрылась и написала в телегу (если указана конечно)

• то что надо!

3. парсинг каждой ссылки будет идти в отдельный свой Excel файл, причем уже в любом режиме (или тоже вынести как опцию?)

если будете внедрять то только через отдельную опцию

5. Отдельный тг для каждой ссылки пока не буду делать, это будет в уже большом обновлении (явно не так быстро), там появятся профили для каждой ссылки, т.е. настройки будут уже не глобальные, а для каждой ссылки свои> Принимаю все пожелания и советы на данный счет, т.к. до конца пока сам не решил

• не самая необходимая опция

[Duff89]

@Nouspass Про средние цены, хаи и прочее - это уже ближе к аналитике. Сейчас главная задача сделать стабильно работающий парсер с развитым функционалом, а когда уже делать будет нечего - тогда и можно и аналитику подключать)
По стабильности приоритет всегда №1, кстати заметил, что лучше не брать прокси с крупными городами (СПБ, Москва), сейчас к примеру у меня Выборг и блокировок стало гораздо меньше, но это чисто субъективно

[darkvovich]

@Nouspass сейчас к примеру у меня Выборг и блокировок стало гораздо меньше, но это чисто субъективно

Не, это вряд ли - я начала тоже выбор выбрал, но потом из-за параллельного запуска его стали тоже блочить и нормально работает другой регион. Но вот есть подозрение что yota оператор лучше))

[darkvovich]

Кстати, у меня вопрос про блокировки:

1. там же часто Авито предлагает просто нажать кнопку "Проверить" и пройти капчу - может можно это тоже включить как-то? чтобы не меняло айпи хаотично а пробовало пройти ее? тем более есть сервисы для прохождения капчи которую Авито использует GeeTest:
   https://habr.com/ru/articles/903096/
   https://rucaptcha.com/h/how-to-bypass-geetest-captcha

2. При попадание в жесткую блокировку когда не помогает смена айпи (более 10 раз) и смена оборудования (2-3 раза) - но помогает: "отдохнуть 1-2часа" и сменить оборудование - есть мысли что можно еще сменить в fingerprint браузера? явно что-то они видят