Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Sequentum Enterprise | Content Grabber

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6

Открыть новую тему     Написать ответ в эту тему

presentRU

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Обсуждение программы | Варезник

Sequentum Enterprise | Content Grabber



Content Grabber используется для веб-очистки и веб-автоматизации. Он может извлекать контент практически с любого веб-сайта и сохранять его в виде структурированных данных в выбранном вами формате, включая отчеты Excel, XML, CSV и большинство баз данных.
 
Особенностями приложения являются:
• высокая производительность и масштабируемость;
• возможность использования нескольких типов браузеров для запросов;
• удобный отладчик
• встроенный обработчик ошибок;
• восстановление работы после ошибки;
• ведение лога всех операций;
• удобный интуитивный интерфейс, подобный браузеру
• написание своих скриптов.
 
В версии Премиум дополнительно включены следующие возможности:
• интеграция с Visual Studio 2013;
• пользовательские шаблоны отображения;
• командная строка;
• API-интерфейс программирования.


Всего записей: 821 | Зарегистр. 16-10-2006 | Отправлено: 11:43 22-10-2019 | Исправлено: Komandor, 23:30 06-02-2024
obtim



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
docNemo
А можете посоветовать поставщика проксей, с которым прога нормально дружит?
 
Добавлено:
docNemo

Цитата:
Как вариант, можно смириться с нерешаемостью проблемы и парсить в режиме дебага.

Разобрался в ситуации в итоге: был хитрый бан по IP со стороны сервиса. Спасибо за участие!

Всего записей: 8937 | Зарегистр. 03-03-2002 | Отправлено: 11:55 03-02-2023
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
obtim

Цитата:
посоветовать поставщика проксей, с которым прога нормально дружит

я этим не занимаюсь, актуальной инфы нет,
вроде вот здесь разные прокси публикуются.
Если не ошибаюсь, Sequentum принимает только HTTP proxy.

Всего записей: 1180 | Зарегистр. 09-10-2016 | Отправлено: 13:28 03-02-2023
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Чет программа начинает немножко разочаровывать. Какие то глюки непонятные.
 
Только за одну настройку встретил -  
При клике на вплывающее окно (например, уточнение региона), нередко, текущая страница уже не загружается (в том числе, при клике на обновление страницы), появляется какая-то красная полоска вверху. При этом, нормально загружает подобную ей, но другую ссылку из этого же ресурса (скопированную и вставленную извне).
При перезагрузке уже сохраненного проекта, часть распознанных настроенных строк данных становятся бледно-серыми, и теряют свое предопределение, приходится заново назначать, причем, на одних и тех же страницах, где уже были обработаны. Иногда, они же, перестают приниматься совсем, подсвечиваясь красным, хотя до этого нормально захватывались.  
Потом, постоянная беда в превью экспортных данных - сбивается их последовательность вывода (не соответствует порядку следования настройки парсинга в верхнем окне). и такая же петрушка, соответственно, в выходном экспортном файле.
Ну и, неприятно, когда программа, нормально выводя данные в предпросмотр, по факту их потом не забирает, такое можно простить Датаколу, но не ей. И непонятно, что дебажить.
 
Кто-то еще это все отмечал, может, как-то справлялся?

Всего записей: 1222 | Зарегистр. 02-05-2006 | Отправлено: 17:17 06-02-2023 | Исправлено: Frantishek, 17:45 06-02-2023
RomkafrVlad



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Программа реально крутая! -  
 
- прекрасно справляется с утечками памяти (в отличие от мученика Датакол, первый парсер, где со временем его работы, занятая опер память не только не увеличивается, но даже становится меньше)
- также не падает скорость работы парсинга, тк данные пишутся сразу в бд, а не в файл
- восстанавливает инстансы после падения, если случаются сбои в системе
- позволяет добавлять настройки в процессе работы агента  (правда, тут тупит, начинает отождествлять в заголовке окна работающий уже проект именем нового парсера)
 
не понял пока это -  
 
- где зафиксировать галку, чтобы писался урл текущей строки (по умолчанию, не делает)
- как поменять самому выбор режима  работы десктоп или мобайл (делает автоматом при сужении экрана)
- какая разница открывать, при клике, страницу на новой вкладке (как понимаю, в новом браузере), или оставлять на месте
 

Цитата:
в превью экспортных данных - сбивается их последовательность вывода

видимо, есть дубли в названии строк парсинга, база не любит одинаковые заголовки

Всего записей: 78 | Зарегистр. 01-05-2006 | Отправлено: 02:58 12-02-2023
Grafdubna



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ancity
А можно поподробней?!

Решение. Запуск через командную строку без параметра --disable-reading-from-canvas
Текущие параметры запуска - в адресной строке ввести chrome://version/

Где найти  Текущие параметры запуска?!
Или что-то уже изменилось для просмотра Wildberries?
 

Всего записей: 27 | Зарегистр. 26-11-2005 | Отправлено: 16:11 13-02-2023
obtim



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Отработал проект, но почему-то не произошла выгрузка в CSV. Смотрю "View Internal Data" - есть данные. Меняю контейнер для экспорта данных - секунду выгружает и пусто по итоговому пути. Перепробовал все возможные контейнеры - не экспортирует в них. Делал Regenerate data - не помогает.  
Можно как-то все же экспортировать данные в CSV или Excel?
П.С. Версия проги - 2.78.2

Всего записей: 8937 | Зарегистр. 03-03-2002 | Отправлено: 16:41 19-03-2023
obtim



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите, как реализовать схему.
Есть ресурс https://betsapi.com
Парсить его надо после авторизации на нем.
Авторизация "держится" 2 часа. Потом надо авторизоваться по новой.
Как настроить действие по времени(каждые 2 часа) и как его правильно разместить в стартовом дереве(что бы выполнялось в цикле)?

Всего записей: 8937 | Зарегистр. 03-03-2002 | Отправлено: 13:54 16-10-2023
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Можно как-то все же экспортировать данные в CSV или Excel?  

Конечно. Если база не поломалась, а это вряд ли, откройте ее (/...internal.db) непосредственно каким то редактором баз (мне, из общеизвестных, приглянулся DB.Browser.for.SQLite). и оттуда уже экспортируйте.
Сегодня, как раз, была похожая ситуация (причина - переполнение диска С, и, видимо, не хватило места под кэш файлы, сама запись шла на другой диск). Но мне опция Regenerate data помогла. Я тоже только добавил еще другой вариант выгрузки.

Всего записей: 1222 | Зарегистр. 02-05-2006 | Отправлено: 02:23 20-10-2023
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Попутно, тоже задам вопрос, что то, не получается. Может, кто лучше разобрался.
Даже не один, а три )
 
1. Как парсить смещающиеся дивы. Когда структура разметки, на странице описания чего то, может то выдавать (иметь) включенный див с описанием, то не иметь. И тогда захват данных, настроенный на примере, где оно присутствовало, тупо сдвигается на див идущий ниже по структуре. Может, как то, через проверку заголовка его.. но как это назначать?
 
2. Как захватывать ссылки с переходом goto
 
3. Как заставить страницу не перепрыгивать по пагинатору в виде простого алфавитного списка (алфавитный каталог), пока контент не дозагрузился внизу (тянется автоматически снизу). Увеличение времени задержки, и выставление галочки - "листать до конца страницы" не помогает (. Собственно, там и не надо листать сразу до конца (это долго) а надо хавать данные по мере их появления, пока не закончатся, и только тогда переходить на другую алфавитную рубрику.
 
Спасибо, кто откликнется!

Всего записей: 1222 | Зарегистр. 02-05-2006 | Отправлено: 22:31 21-10-2023
RomkafrVlad



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Кто нибудь пробовал парсить Вайлдберис? Заколебался с задержками полной страницы.
И ползунок по умолчанию менял до полного Longer.
И вставлял дополнительный параметр задержки по времени (по контенту, и по адресу страницы).
И игрался настройками числа скроллинга до конца страницы (и также без них, просто проход до конца страницы).
Нет блин, хреначит махом, в пару заходов, до конца на подвал. Часть подрузки товарной, при этом, до полной распаковки страницы, исключается. И когда это вручную потом делаешь, уже всплывает красный подсвет на запрет выделения фреймов по захвату ссылок, тк типа они появились позже отработки работы скрипта.

Всего записей: 78 | Зарегистр. 01-05-2006 | Отправлено: 01:08 26-11-2023
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Никто прокси не пробовал, в последнее время, проверять?  
Постоянно выдает красным. При проверке вручную, на разных сайтах тестировщиках, все в порядке.  
Не пойму что за х началась (пробовал под впном и так). Уже дважды такое за последние 2 месяца. Еще летом все проверялось норм, как и годы ранее, от тех же провайдеров.

Всего записей: 1222 | Зарегистр. 02-05-2006 | Отправлено: 19:55 18-12-2023
elevaku

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Привет, есть ли у кого-то прямая ссылка для загрузки последней версии Sequenсе Enterprise? Я могу попросить ее? Спасибо.

Всего записей: 1 | Зарегистр. 07-01-2024 | Отправлено: 17:52 07-01-2024
DWarez



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Русская документация: https://drive.google.com/file/d/1b5BUEukRRtOZJMmCzGH639BL-eACQ1U8/view?usp=sharing

Всего записей: 24 | Зарегистр. 19-02-2006 | Отправлено: 23:25 06-02-2024
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
elevaku

Цитата:
есть ли у кого-то прямая ссылка для загрузки последней версии Sequenсе Enterprise?

http://forum.ru-board.com/topic.cgi?forum=35&topic=81264&start=120#10

Всего записей: 1180 | Зарегистр. 09-10-2016 | Отправлено: 00:16 07-02-2024
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6

Компьютерный форум Ru.Board » Компьютеры » Программы » Sequentum Enterprise | Content Grabber


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru