Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Открыть новую тему     Написать ответ в эту тему

Orlon



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сравниваем возможности и недостатки оффлайн-браузеров:
OfflineExplorer - (Pro/Potable/Enterprise)
Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)
 
WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot...
Что лучше?
 
ТАБЛИЦЫ СРАВНЕНИЯ :
 
1. по версии разработчика OfflineExplorer цитата
2. по версии автора статьи на iXBT.com
 
Путеводитель по offline-браузерам подробная серия статей на iXBT.com
 
Родственные темы:
Web Organizer-ы (CyberArticle, NetCollector, etc.,)
Мониторинг обновления web-сайтов
RSS Feed Readers | News Aggregators
Сохранение составного flash
rutv.ru Скачиваем потоковое видео

Всего записей: 549 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011
ioppp

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
SFC
А, понятно.
Хотя HTTRack имеет массу всяческих настроек - и твой вариант наверняка можно реализовать, но проще всего именно то, что тебе надо, вроде бы, реализовано в расширении FlashGot (или Scrapbook - ?) к Файрфоксу,  -  ещё также где-то неоднократно что-то подобное встречалось, просто не вспомню сейчас, так как не пользовался этой возможностью за ненадобностью.

Всего записей: 3106 | Зарегистр. 22-01-2005 | Отправлено: 12:34 24-06-2006 | Исправлено: ioppp, 12:45 24-06-2006
SFC



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ioppp
Наиболее близкие к задаче: SpyGet , WebSnatcher
Но у них мелкие глюки
 
Остановился на: полностью удовлетворяет.
WebSite Extractor


----------
[ offline ]

Всего записей: 1663 | Зарегистр. 21-01-2003 | Отправлено: 19:39 25-06-2006
ioppp

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
SFC
Рад за тебя.
Вот только я совсем упустил из виду, что в Гетрайт 6а Про имеется замечательный GetRight Browser, который делает именно то, что ты хочешь, а если немного его поднастроить под свои требования - то и так, как ты хочешь :
Цитата:
 Что хочется:
Загрузить не столько полностью сайт полностью, сколько перечень конкретных линков с глубиной 0,
Т.е. только страница со своими картинками.
Для чего - набрал стопку линков станицы - пошел в клуб, закачал все, а дома читай.
И чтобы запускалась с флешки - без установки.
 
Вот посмотри:
   
Линки можно сразу не закачивать, а отложить на потом или импортировать их куда-нибудь, ну и т.д. и т.п.

Всего записей: 3106 | Зарегистр. 22-01-2005 | Отправлено: 20:38 25-06-2006 | Исправлено: ioppp, 20:44 25-06-2006
SFC



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ioppp
Спасибо, посмотрел, но она по-мойму не работает с флешки.
Я решил остановиться на  WebSite Extractor. Он просто и ритейл версия не требует всяких реестровых дополнений, работает с флешки и адекватен
Спасибо за наводку

----------
[ offline ]

Всего записей: 1663 | Зарегистр. 21-01-2003 | Отправлено: 11:49 26-06-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Наверняка что-то подобное есть, просто это наверное врядли полноценный offline browser

 
Мы думаем над тем, чтобы это сделать в Offline Explorer. Насколько я понимаю, желательно, чтобы и настройки и скачанные файлы кидались в эту-же флешку - где и установлена программа.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 15:48 26-06-2006
SFC



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin

Цитата:
чтобы и настройки и скачанные файлы кидались в эту-же флешку  

Да, вы правильно поняли.
Также я, при тестировании вышеуказанных программ, сталкнулся с тем, что не все программы правильно "локализируют ссылки на скачанные картинки" и не все показывают (восстанавливают) структуру сайта.
У WebSite Extractor'ра также есть недостаток - он иногда "пропускает" некоторые картинки скачать. Зато они появляются в структуре сайта.
Но основное требование - это режим: только страница + плюс ее картинки, где бы они не были по дереву сайта

----------
[ offline ]

Всего записей: 1663 | Зарегистр. 21-01-2003 | Отправлено: 07:28 27-06-2006
DWIM



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Один из вариантов бесплатной ненапряжной закачки - Mozilla Firefox + [extention] ScrapBook http://amb.vis.ne.jp/mozilla/scrapbook/
 
Касательно ОЕ:
так и не понял, для чего в установщике выбор русского языка? руссификация установщика?
 
Скачал сайт - внутри русская абракадабра!
Оказалось - в ошибка в кодировке: ОЕ вместо windows-1251 поставил в шапке koi8-r.
Пришлось писать програмку на Perl для исправления шапки в html-файлах
 
Скомпиленный CHM (как, впрочем, и просто закачанные странички) то и дело просится в сеть из-за наличия на странице счетчиков, но как-то не вяжется это с концепцией Оффлайнового сайтопросмотра - я не говорю о вырезании из скачанных страниц кодов, ответственных за баннеры и счетчики (хотя ой как думаю!), но запрет на попытки коннекта из CHM и MHT был бы кстати, хотя бы в виде галочки в окошке экспорта
 
Также была бы полезна возможность измененять код html с целью принудительного отключения открывания в новом окне, а то из CHM по каждой ссылке в IE выскакивать - зачем тогда CHM?! (но это надо скорее оборвать руки создателям таких сайтов, пример - flower.nn.ru)

Всего записей: 2 | Зарегистр. 28-06-2006 | Отправлено: 09:24 03-07-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Касательно ОЕ:  
так и не понял, для чего в установщике выбор русского языка? руссификация установщика?

 
Сорри, упустил. Сейчас буду исправлять.
 

Цитата:
Скачал сайт - внутри русская абракадабра!  
Оказалось - в ошибка в кодировке: ОЕ вместо windows-1251 поставил в шапке koi8-r.  
Пришлось писать програмку на Perl для исправления шапки в html-файлах  

 
А на каком сайте это было? Какую кодировку ОЕ прописал в страницах?
Цитата:
Скомпиленный CHM (как, впрочем, и просто закачанные странички) то и дело просится в сеть из-за наличия на странице счетчиков, но как-то не вяжется это с концепцией Оффлайнового сайтопросмотра - я не говорю о вырезании из скачанных страниц кодов, ответственных за баннеры и счетчики (хотя ой как думаю!), но запрет на попытки коннекта из CHM и MHT был бы кстати, хотя бы в виде галочки в окошке экспорта  
 
Также была бы полезна возможность измененять код html с целью принудительного отключения открывания в новом окне, а то из CHM по каждой ссылке в IE выскакивать - зачем тогда CHM?! (но это надо скорее оборвать руки создателям таких сайтов, пример - flower.nn.ru)

 
ОК. Посмотрю на этом сайте, что можно сделать.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 19:59 04-07-2006
Infection

iB3 PostgreSQL Coder
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
весь день потратил, испробовал все что можно
так и не нашел нормального даунлоадера
 
проблема такая, что сайт генерирует ссылки на несущетвующие страницы, и если у апача  логах проскакивает ошибка 404, то доступ с этого IP на некоторое время закрывается..
 
урлы генерируются следующим образом:
 
http://www.com/directory/227273
http://www.com/directory/29084
http://www.com/directory/923
http://www.com/directory/2272734
 
то есть в фиктивной ссылке всегда существует адрес http://www.com/directory/
 
ни один даунлоадер не поддерживает выражения для исключения загрузок под тип
http://www.com/directory/[0-9]*
или
http://www.com/directory/1*
http://www.com/directory/2*
http://www.com/directory/3*
http://www.com/directory/4*
 
единственно кто умеет делать, так Teleport Pro, да и у того косяк
 
если ссылка href="http://www.com/test"
то по идее это все равно что href="http://www.com/test/index.***" если нет такого файла в директории, а телепорт про не сохраняет такие страницы

Всего записей: 352 | Зарегистр. 21-12-2001 | Отправлено: 14:58 12-07-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ну это как раз Offline Explorer Pro может - как раз такие маски:
http://www.com/directory/[0-9]*
 
http://www.metaproducts.com/download/opsetup.exe
 
И ссылки типа /test, где test это не файл, а каталог нормально грузит и сохраняет.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 00:23 13-07-2006
Donatello



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
А вот любители Телепорта с немецким/американским качеством могут вот это объяснить > http://forum.ru-board.com/topic.cgi?forum=5&topic=0749&start=260#17 ? И как вообще у программы с таким "кач-вом" и такой ценой, нет проверки - скачал ты файл или нет??? Можно его хоть 1000 раз потом запускать, если он отметил себе, что скачал, а на диске этого файла нет, то он его больше и не будет скачивать.

----------
Манифест
Правда24
Лучше быть хорошим человеком, «ругающимся матом», чем тихой, воспитанной тварью. Ф.Г. Раневская

Всего записей: 4303 | Зарегистр. 17-08-2003 | Отправлено: 07:21 15-09-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В Offline Explorer другая логика - если присутствует файл на диске, то значит он был скачан. Если его нет (напр. стерли руками), то будет качать заново.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 18:05 16-09-2006
Donatello



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
OlegChernavin
 
А это самая правильная логика, другого и быть не может. Либо должна быть опция выбора. Ответил в той теме, также.

----------
Манифест
Правда24
Лучше быть хорошим человеком, «ругающимся матом», чем тихой, воспитанной тварью. Ф.Г. Раневская

Всего записей: 4303 | Зарегистр. 17-08-2003 | Отправлено: 01:03 17-09-2006 | Исправлено: Donatello, 01:47 17-09-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Долго тут не появлялся. Проблему удалось решить?

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 17:54 02-10-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Готовлюсь выпустить еще одну редакцию Offline Explorer, которую можно устанавливать на флешки и запускать с любого компьютера. Решили назвать ее по другому - Portable Offline Browser. Хотя внутри это тот-же ОЕ с небольшой специализацией.  
 
Кому интересно, можно потестить:
 
http://www.metaproducts.com/download/pobsetup.exe

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 21:33 02-10-2006
volkuss

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Поможите чем можите
 
А нет ли такой програмки, чтобы, ммм, как бы объяснить, короче есть сайт с галереями картинок, каждая галерея имеет свое название (в виде ссылки), тыкнув на название галереи, переходим на страничку thumbnails и далее кликая на 1 из предкартинок попадаем на страничку с самой картинкой, так вот в чем проблема: картинки из нескольких галерей могут храниться в одной папке на сервере, и при сохранении картинок, они сваливаются все в одну кучу (создается папка с таким же названием как та, что на сервере) (цель именно картинки, сами страницы ни к чему), проделывал все в офлайн эксплорере, так вот нужно, чтобы картинки сохранялись в папку, с именем как название галереи, можно ли как-нить научить этому офлайн эксплорер или мб есть программы умеющие это?
 
сайтик например: http://www.imgloading.com/content.php (но тут еще одна хрень, там 2 ссылки на одну галерею, 1 - порядковый номер галереи; 2 - название галереи...хотелось бы чтобы создавал папку из названия галереи)

Всего записей: 13 | Зарегистр. 09-02-2006 | Отправлено: 00:42 03-10-2006
SFC



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
> проблему удалось решить
Для того что мне надо было (есть набор ссылок, и все их надо скачать на глубину 0 с картинками, чтобы потом прочитать. Программа должна работать с флешки и записать их все на флешку) оказалось что лучший вариант это все-таки BookBuilder (от CyberArticle).  
Преимущества: работает с флешки со своего же каталога, сразу готовый результат помещает в книгу CyberArticle – пропуская промежуточную стадию нахождения документов на диске, отражает ссылку откуда было скачано, довольно просто и быстро – создал файл со своими ссылками, импортировал файл в ВВ, указал место внутри книги СА и все.
Недостатки: для глубины 0 их нет. (Для глубины 1 работает с небольшими глюками – лучше пользоваться спец. программой закачки сайтов – но мне глубина 1 не нужна)
 
> Portable Offline Browser
Тогда уж лучше Offline Browser Portable – именно в таком порядке идут де-факто (из-за возникших проблем де-юре)  все Portable Applications. http://portableapps.com/ Хотя в данном случае вы автор и копирайт ваш, вам и решать. Сам факт появления такой программы – это уже шаг вперед, приятно иметь программу, которая не мусорит в Windows и все свое держит при себе.

----------
[ offline ]

Всего записей: 1663 | Зарегистр. 21-01-2003 | Отправлено: 08:05 03-10-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
сайтик например: http://www.imgloading.com/content.php (но тут еще одна хрень, там 2 ссылки на одну галерею, 1 - порядковый номер галереи; 2 - название галереи...хотелось бы чтобы создавал папку из названия галереи)

 
Я боюсь, что это пока невозможно. Есть фича "замена адресов", но она работает только с адресом самого файла, но не берет данные со страницы, которая привела к файлу.  
 

Цитата:
> Portable Offline Browser  
Тогда уж лучше Offline Browser Portable – именно в таком порядке идут де-факто (из-за возникших проблем де-юре)  все Portable Applications. http://portableapps.com/ Хотя в данном случае вы автор и копирайт ваш, вам и решать. Сам факт появления такой программы – это уже шаг вперед, приятно иметь программу, которая не мусорит в Windows и все свое держит при себе.

 
Спасибо!

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 12:17 03-10-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Обновил таблицу сравнения, добавив туда Portable Offline Browser:
 
http://www.metaproducts.com/mp/chart.asp?chart_id=1&lng=2&id=2&links=1
 

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 15:45 10-10-2006
armatura



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Друзья, подскажите пожалуйста, в котором из перечисленных бразуеров имеется возможность ограничения количества загружаемых страниц в 1 минуту? В таблице сравнения такую информацию не нашел.
 
Дело в том, что я пытаюсь рипнуть онлайн-книгу по кардиохирургии, a сайт выдает вот какую ошибку:
 

Цитата:
Access to this site from IP address **.***.***.** has been temporarily blocked
The most likely reason for a block is too-frequent requests for a resource. "Offline browsers" can create too-frequent requests, especially if they haven't been configured properly.
 
If you are using one of the popular "offline browsers" that allow you to download content from a site and read it later, be aware that we impose one restriction on their use.
In order for us to provide reliable, continuous, and timely access to this site for all readers, we require that you configure your offline browser to request no more than one page per minute.

 
//Благодарю Zakkazak и OlegChernavin за ценные советы.

Всего записей: 313 | Зарегистр. 16-02-2005 | Отправлено: 21:33 11-10-2006 | Исправлено: armatura, 22:07 18-10-2006
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru