Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Sequentum Content Grabber

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки

Открыть новую тему     Написать ответ в эту тему

presentRU

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Варезник
Content Grabber Premium


Content Grabber используется для веб-очистки и веб-автоматизации. Он может извлекать контент практически с любого веб-сайта и сохранять его в виде структурированных данных в выбранном вами формате, включая отчеты Excel, XML, CSV и большинство баз данных.
Особенностями приложения являются:
• высокая производительность и масштабируемость;
• возможность использования нескольких типов браузеров для запросов;
• удобный отладчик
• встроенный обработчик ошибок;
• восстановление работы после ошибки;
• ведение лога всех операций;
• удобный интуитивный интерфейс, подобный браузеру
• написание своих скриптов.
В версии Премиум дополнительно включены следующие возможности:
• интеграция с Visual Studio 2013;
• пользовательские шаблоны отображения;
• командная строка;
• API-интерфейс программирования.


Сайт

Всего записей: 646 | Зарегистр. 16-10-2006 | Отправлено: 11:43 22-10-2019 | Исправлено: docNemo, 20:47 31-10-2019
presentRU

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
По функционалу прога конечно мощная, но ввиду отсутствия навыков программирования, не могу понять, как добавлять к грабнутым данным дату и время запуска задания. Может в курсе?

Всего записей: 646 | Зарегистр. 16-10-2006 | Отправлено: 15:07 22-10-2019
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
presentRU

Цитата:
ввиду отсутствия навыков программирования

И какой там язык?

Всего записей: 1173 | Зарегистр. 17-01-2011 | Отправлено: 04:06 23-10-2019
presentRU

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey
Редакт скриптов выглядит примерно так. Но не уверен, что это именно таким образом нужно делать. Буду благодарен, если кто полноценно работает с прогой и пояснит, как дату и время выполнения задания экспортировать каждый раз, при получении данных, в строку excel вместе с данными.

Всего записей: 646 | Зарегистр. 16-10-2006 | Отправлено: 14:37 25-10-2019 | Исправлено: presentRU, 14:38 25-10-2019
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
presentRU

Цитата:
как дату и время выполнения задания экспортировать каждый раз, при получении данных, в строку excel вместе с данными.

 
DATA -> ChangeExportTarget -> Timestamp
 
добавляет дату/время в имя .xls файла
 
Добавлено:
 
AddCommand -> PageAttribute -> Timestamp
 
Добавляет Дату/время отдельным полем в сам файл .xls

Всего записей: 831 | Зарегистр. 09-10-2016 | Отправлено: 02:18 26-10-2019 | Исправлено: docNemo, 03:04 26-10-2019
presentRU

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
AddCommand -> PageAttribute -> Timestamp

Похоже, что это подойдёт. Кто ж мог подумать, что в атрибутах страницы будет текущее время? Как-то совсем не очевидно, имхо.

Всего записей: 646 | Зарегистр. 16-10-2006 | Отправлено: 12:05 26-10-2019 | Исправлено: presentRU, 12:07 26-10-2019
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
парни, поясните плз в чем преимущество данного софта в сравнении с общеизвестными - Datacol и Content Downloader? буду признателен

Всего записей: 927 | Зарегистр. 02-05-2006 | Отправлено: 03:06 27-10-2019 | Исправлено: Frantishek, 03:07 27-10-2019
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Frantishek

Цитата:
чем преимущество данного софта в сравнении

Гибше, интуитивней, мощнее.
Датакол это программное извращение, надругательство над здравым смыслом.
Через 30 минут ознакомления с Content Grabber Вы будете уже парсить сайты любой сложности

Всего записей: 831 | Зарегистр. 09-10-2016 | Отправлено: 15:14 27-10-2019
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
docNemo
спасибо. а насколько там развитый функционал в части экспорта данных.. например парсинга фото. можно ли такое производить -  
- способ сохранения файлов: все вместе, или для каждого запроса/ссылки отдельная папка
- настройки имени файлов при сохранении: оригинальное, или подстановка - поисковый запрос по маске
и как ловко программа делает ротацию прокси (если нужны задержки, случайный/последовательный выбор и тд).

Всего записей: 927 | Зарегистр. 02-05-2006 | Отправлено: 21:37 03-12-2019
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
может кто успел видео отсюда слить. выложите пожалуйста -  
https://web.archive.org/web/20170606184605/https://contentgrabber.com/web-scraping-videos

Всего записей: 927 | Зарегистр. 02-05-2006 | Отправлено: 04:16 05-12-2019
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Frantishek
Всё сабж делает ловко, шустро и развито.
А видео доступно и сейчас. У Вас просто в hosts стоит заглушка, которая не пускает туда зайти.
Либо закоментируйте ее, либо воспользуйтесь VPN/T0R

Всего записей: 831 | Зарегистр. 09-10-2016 | Отправлено: 09:11 05-12-2019
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
docNemo
ох елки, как все просто.  
я вот еще не понял чего. на ютубе, под каналом Sequentum, лежат древние ролики для Visual Web Ripper. на самом сайте этой программы, очень похожая логика выкладки презентаций (для пользователей начального уровня, среднего, и продвинутого, ровно как и на сайте ContentGrabber) и компания тоже из Австралии ). это какой то их форк? причем, софт до сих пор развивается параллельно..  
и попутный вопрос. вам удается делать автономные боты с запуском для сторонних клиентов? для этого лицензии Enterprise достаточно (+ авторег, что сделали в соседней ветке)? (у меня при выборе Royalty-Free возникает ошибка).

Всего записей: 927 | Зарегистр. 02-05-2006 | Отправлено: 16:30 05-12-2019
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Frantishek
ответил в личке

Всего записей: 831 | Зарегистр. 09-10-2016 | Отправлено: 21:20 09-12-2019
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
а может кто нибудь привести примеры проектов, для каких то типичных ресурсов (известных магазинов, витрин и тд). которых не жалко. чтобы механизм настроек в целом понять.

Всего записей: 927 | Зарегистр. 02-05-2006 | Отправлено: 22:28 13-09-2020
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Интересно, почему сабж по умолчанию представляется сайтам как Chrome 75 ?

Всего записей: 831 | Зарегистр. 09-10-2016 | Отправлено: 18:02 06-01-2021
smilem

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
непонятно в программе Sequentum v2.74 Debug при проверке шагов ошибок не показывает и всё работает но как долго запускается Агент выскакивает ошибка "Web element was not found".
 
Кто может помочь с решением проблемы?
 
Добавлено:
"https://www105.zippyshare.com/v/El9e5But/file.html"
"https://www105.zippyshare.com/v/njcOwD8V/file.html"

Всего записей: 220 | Зарегистр. 30-06-2008 | Отправлено: 09:59 30-04-2021
Открыть новую тему     Написать ответ в эту тему

Компьютерный форум Ru.Board » Компьютеры » Программы » Sequentum Content Grabber


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru