Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » Web-программирование » Как при парсинге пропускать совпадения?

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки

Открыть новую тему     Написать ответ в эту тему

erroraccount

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Я написал парсинг. Но времени выполнения скрипта не хватает, чтобы спарсить весь объем.
 
Предположил, что можно выкачивать частями. Т.е. скачал 500 строчек в базу. В пхп отметил, что id начинается с 501 и снова запускаем. Но в этом случае надо чтобы скрипт пропускал те 500 совпадений, которые уже скачаны иначе с 501 айдишника в базу полетят снова первые данные, который скрипт найдет на доноре.
 
Есть ли возможность, пользуясь библиотекой simle-html-dom и найдя определенный тег, пропускать его до тех пор, пока не отсчитает нужное количество, после чего парсит теги?

Всего записей: 66 | Зарегистр. 01-02-2016 | Отправлено: 22:04 27-07-2016 | Исправлено: erroraccount, 22:05 27-07-2016
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
erroraccount

Цитата:
найдя определенный тег, пропускать его до тех пор, пока не отсчитает нужное количество, после чего парсит теги?

парсите им все (это не должно занимать много времени), потом пропускаете столько, сколько нужно

Всего записей: 15097 | Зарегистр. 20-09-2014 | Отправлено: 23:23 27-07-2016
seonjus



BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А я собираю и ручками в екселе удаляю)))

Всего записей: 2 | Зарегистр. 18-08-2016 | Отправлено: 19:22 18-08-2016
sket4



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
erroraccount
попробуйте сохранять результаты парсинга не сразу в базу, а в локальный файл, открыв его с возможностью дозаписи, а уж затем, когда в файле будут все нужные значения, вставлять их в базу
 
или можно увеличить время выполнения скрипта

Всего записей: 712 | Зарегистр. 07-05-2004 | Отправлено: 18:52 03-10-2016
Открыть новую тему     Написать ответ в эту тему

Компьютерный форум Ru.Board » Интернет » Web-программирование » Как при парсинге пропускать совпадения?


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru