Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Открыть новую тему     Написать ответ в эту тему

Orlon



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сравниваем возможности и недостатки оффлайн-браузеров:
OfflineExplorer - (Pro/Potable/Enterprise)
Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)
 
WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot...
Что лучше?
 
ТАБЛИЦЫ СРАВНЕНИЯ :
 
1. по версии разработчика OfflineExplorer цитата
2. по версии автора статьи на iXBT.com
 
Путеводитель по offline-браузерам подробная серия статей на iXBT.com
 
Родственные темы:
Web Organizer-ы (CyberArticle, NetCollector, etc.,)
Мониторинг обновления web-сайтов
RSS Feed Readers | News Aggregators
Сохранение составного flash
rutv.ru Скачиваем потоковое видео

Всего записей: 549 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011
roman78



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
юзаю оффлайн експлорер, но при попытке скачать "дубликат" сайта он делает default.html  вместо index.html... а как остальные?

Всего записей: 428 | Зарегистр. 31-05-2003 | Отправлено: 12:57 03-08-2007
ventblanc

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
попробовал скачать сайт сделанный на Флеш.
неудачно
юзал и Офлайн Эксплорер и Телепорт.
 
а вообще сайты на флеш можно скачать?
если да то чем

Всего записей: 51 | Зарегистр. 24-07-2006 | Отправлено: 13:05 03-08-2007
w0mbat



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
alkis
Там попробуй пойми как браузером скачать.. ссылок так и не смог найти)) Можно ссылку на адрес исходной страницы где размещены ссылки на сами тексты?
 
roman78
дык если заходишь например на ya.ru, ты же не видишь чего тебе выдают, index.htm или .html или default.htm ит.д. - это настройки веб-сервера, файл с каким именем считать главной страницей. А как (под каким именем) эту страницу сохранять - это твое личное дело, по-моему в каком-то сабже видел настройку, ответственную за это..
 
ventblanc
поддерживаю вопрос, интересует какой из сабжей лучше всего справляется с флеш-сайтами, и такими, где большинство контента генерится javascript'ом

Всего записей: 485 | Зарегистр. 22-05-2006 | Отправлено: 15:14 03-08-2007
Kiev78

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
У меня возник такой вопрос:
Допустим, я знаю что на сайте есть исполняемые файлы (но не знаю их имён).
Чем лучше прошерстить сайт на поиск всех файлов определённого типа?
Пытался в Офлайн Эксплорер сделать полный сайт мап, но он показывает только структуру папок, сами екзешники не видны. Например, сайт http://www.teksoft.com - я точно знаю, что есть файл http://www.teksoft.com/files/CW/FlexLM/CWFlexLM_20060828.exe ,
есть и другие, так вот я например хочу узнать ссылки на все файлы на этом сайте.
Подскажите, пожалуйста, как лучше это сделать (и чем?).

Всего записей: 244 | Зарегистр. 17-06-2006 | Отправлено: 04:18 08-08-2007
w0mbat



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kiev78
если на страницах сайта нет ссылки на этот экзешник и там запрещен просмотр содержимого каталогов (как сделано почти везде) то имхо никак

----------
Лучше десять раз покрыться потом, чем один раз - инеем

Всего записей: 485 | Зарегистр. 22-05-2006 | Отправлено: 12:22 08-08-2007
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
roman78
 
У каждого свои настройки. У Offline Explorer это можно изменить через реестр. Только какая разница.
 
Такое имя файла назначается в случае закачки ссылок, заканчивающихся на /, т.е. когда имя файла невозможно узнать.
 
ventblanc
 
С флешем немало проблем. Можно попробовать выбрать проект закачанный Offline Explorer-ом, нажать кнопку автосохранения на панели встроенного браузера и потом нажать на просмотр в оффлайне. Недокачанные файлы будут сохранены и добавлены к проекту.
 

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 00:26 14-08-2007
Shigal



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Долго выбирал, остановился на TeleportPro - большего мне не надо.

Всего записей: 31 | Зарегистр. 24-08-2007 | Отправлено: 21:26 24-08-2007
bacardi



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Teleport - просто удобно

Всего записей: 104 | Зарегистр. 04-09-2007 | Отправлено: 13:45 04-09-2007 | Исправлено: bacardi, 08:23 06-09-2007
OffSpEEd

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
люди как телепортом можно скачивать определенный топик например на руборде и регулярно чтобы он подзакакчивал новые сообщение и потом их читать в оффлайне.

 
а вообще - есть ли специализированная прога, чтобы скачивать и читать нужные темы в оффлайне? (наподобия фидошного голдеда)


----------
хватит мозг себе трах..ь и другим

Всего записей: 340 | Зарегистр. 01-06-2002 | Отправлено: 17:47 07-09-2007
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В топике (шапке) оффлайн-эксплорера есть такая простая идея - задать адрес:
 
http://forum.ru-board.com/topic.cgi?forum=5&bm=1&topic=1455&start={:0..2240|20}
 
и все.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 17:13 18-09-2007
azbax



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
WinHTTrack - поставил где-то с год назад, временно. Потом оставил постоянно и не разу не пожалел.

Всего записей: 14 | Зарегистр. 26-10-2007 | Отправлено: 08:12 27-10-2007
klif22



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
OlegChernavin


Цитата:
 
У каждого свои настройки. У Offline Explorer это можно изменить через реестр. Только какая разница.
 
Такое имя файла назначается в случае закачки ссылок, заканчивающихся на /, т.е. когда имя файла невозможно узнать.  

 
 
А нельзя ли настроить OE так, чтобы он, увидев директорию, просто копировал оттуда все что есть? А то бывает так, что в папке, к примеру, php файл, а ОЕ его переименовывает в htm.

Всего записей: 51 | Зарегистр. 15-10-2006 | Отправлено: 03:21 14-11-2007
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Есть такая настройка, но не всегда сервера позволяют просмотреть список всех файлов в каталоге и их оттуда скачать. Тем более не получится взять PHP-скрипты. Они в любом случае будут выполнены сервером и отданы в виде чистого HTML.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 20:19 19-11-2007
cuneiform

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
WinHTTrack - поставил где-то с год назад, временно. Потом оставил постоянно и не разу не пожалел.

 
Поддерживаю. Очень тонкие настройки. - Варианты настроек обхода запрета на скачивание сайтов. --- Б е с п л а т н а я !!!  прога. Загрузил с ее помощью около 20 тыс. страниц с сайтов также под запретом на скачивание.  
 
 
 
 
Добавлено:
Teleport Pro, Offline Explorer, WebCopier Pro - каких только коммерческих продуктов не сыщешь в Сети для копирования сайтов на жесткий диск компьютера. Все они функциональные, красивые и... дорогие.  
 
Однако существует альтернатива в виде  с в о б о д н о (бесплатно!) распространяемой утилиты Wget.  
 
_http://www.gnu.org/software/wget/wget.html
 
Пришедшая из мира Linux, она позволяет скачивать как отдельные файлы из интернета, так и сайты целиком, следуя по ссылкам на веб-страницах. Остановимся на последней возможности чуть подробнее. Погружаться в конкретику не будем, так как её всегда можно извлечь из документации к программе, набрав команду man wget в Linux или wget.exe --help в Windows.
 
Итак, допустим, мы хотим создать копию сайта www.site.com на своем диске. Для этого открываем командную строку (Wget - утилита консольная) и пишем такую команду:
 
wget.exe -r -l10 -k http://www.site.com
Данная инструкция заставит приложение рекурсивно (параметр -r) обойти каталоги и подкаталоги на удалённом сервере с максимальной глубиной рекурсии равной десяти (-l), а затем заменить в загруженных HTML-документах абсолютные ссылки на относительные (-k) для последующего локального просмотра скачанного сайта.
 
Если предполагается загрузка с сайта какого-либо одного каталога (со всеми вложенными в него папками), то логичнее будет включить в командную строку параметр -np. Он не позволит утилите при поиске файлов подниматься по иерархии каталогов выше указанной директории:
 
wget.exe -r -l10 -k http://www.site.com -np
Если загрузка данных была случайно прервана, то для возобновления закачки с места останова, необходимо в команду добавить ключ -с и нажать Enter:
 
wget.exe -r -l10 -k http://www.site.com -c
По умолчанию всё сетевое добро сохраняется в рабочей директории утилиты. Определить другое месторасположение копируемых файлов поможет параметр -P:
 
wget.exe -r -l10 -k http://www.site.com -P c:\internet\files
Наконец, если сетевые настройки вашей сети предполагают использование прокси-сервера, то его настройки необходимо сообщить программе. Для этого зайдите в рабочую директорию Wget, найдите там файл sample.wgetrc, переименуйте его в .wgetrc и редакторе пропишите в поле http_proxy характеристики вашего прокси-сервера, не забыв раскомментировать строку (удалить знак #).  
 

Всего записей: 2061 | Зарегистр. 27-04-2006 | Отправлено: 02:44 02-12-2007 | Исправлено: cuneiform, 03:23 02-12-2007
cuneiform

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Приведу пример, когда мне помогли без долгиx поисков возможностей  только   HTTrack ,  особенно wget.  
 
Надо загрузить  40 000 страниц книг, 2 энциклопедии по 17 томов. Но они не лежат доступно копированием директории на сайте. Каждая страница вызывается через запрос на яве. Получается такая загрузка постранично:  
 
http://www.retrobibliothek.de/retrobib/faksimile_504491.jpeg
http://www.retrobibliothek.de/retrobib/faksimile_504492.jpeg
http://www.retrobibliothek.de/retrobib/faksimile_504493.jpeg
.........................................................................................
 
так ---- 40000 ссылок...
 
wget потребовал только составить список в (тxт) File. - Попробуйте сделать это в другом.  
 
Стало интересно. А другие кроме этиx двуx могут спискок адресов ввести?
 
Впечатление такое, что только 1 адрес все принимают!
 
 
 

Всего записей: 2061 | Зарегистр. 27-04-2006 | Отправлено: 17:22 14-12-2007 | Исправлено: cuneiform, 21:22 14-12-2007
MrPerfect



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
cuneiform
В Offline Explorer вы можете задать одним URL загрузку всех ваших 40000 страниц.
 
http://www.xxx.xx/retrobib/faksimile_{:504491..544490|1}.jpeg
 
504491 - начальный URL
544490 - конечный URL (начальный плюс число 39999)
1 - шаг изменения
Всего - загрузка 40000 страниц.
 
Читайте справку к Offline Explorer, раздел URL Macros. Изменяться в URL может куча элементов, не только числа. Генерировать и вставлять кучи URL вам не придётся, всё гораздо легче.

Всего записей: 2342 | Зарегистр. 19-04-2002 | Отправлено: 19:23 14-12-2007
cuneiform

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Это действительно потрясно! Ибо сменить 40 000 номеров страниц вручную... очень большое спасибо за помощь! - Главное --- это описание проги!
 
Добавлено:
Надо отдать должное этой программе: 1500 файлов-страниц около 500 Кб каждый загрузила за 10 мин --- при скорости в 4 раза !!! большей чем консоль в ДОСе --- около 1-2 Мб/с, другие как и консоль --- только около 270 Кб/с! За 3-4 ч можно скачать все 17 томов! Потрясно! Сильно! Круто!

Всего записей: 2061 | Зарегистр. 27-04-2006 | Отправлено: 21:28 14-12-2007 | Исправлено: cuneiform, 22:06 15-12-2007
kenttj

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Такой вопрос: надо скачать картинки с одного сайта, который продаёт картинки. Я знаю в какой директории находятся эти картинки, вот только скачать их не могу, так как все подобные проги сразу же начинают ругаться, что мне нужно ввести правильный логин и пароль на сайт.
 
Кто-нибудь может подсказать, возможно хоть одной прогой скачать их?
 
Ссылка содержит, что-то вроде http://название_сайта/photo_000004816968Medium.jpg?id=4816968&ConcreteTypeID=3&Token=597557589&downloadAction=RegularLicense
 
Этот файл скачивается таким образом уже с платного аккаунта, но логин и пароль должны быть введены заранее.
 
Понравились пару картинок с сайта.

Всего записей: 204 | Зарегистр. 26-08-2006 | Отправлено: 18:01 16-02-2008
Donatello



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
kenttj
 
Подобные проги... это какие? Телепортом я скачивал с защищенных узлов (Basic авторизация), OfflineExplorer скачивал. OfflineExplorer пробовал? Можно попробовать войти на сайт-авторизоваться с пом. встроенного браузера в OfflineExplorer, если простой ввод логин-пароля не помогут.

----------
Манифест
Правда24
Лучше быть хорошим человеком, «ругающимся матом», чем тихой, воспитанной тварью. Ф.Г. Раневская

Всего записей: 4303 | Зарегистр. 17-08-2003 | Отправлено: 19:12 16-02-2008
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
kenttj
 
Будут проблемы - пишите мне на личный ящик. Буду помогать.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 17:55 25-02-2008
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru