Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Открыть новую тему     Написать ответ в эту тему

Orlon



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сравниваем возможности и недостатки оффлайн-браузеров:
OfflineExplorer - (Pro/Potable/Enterprise)
Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)
 
WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot...
Что лучше?
 
ТАБЛИЦЫ СРАВНЕНИЯ :
 
1. по версии разработчика OfflineExplorer цитата
2. по версии автора статьи на iXBT.com
 
Путеводитель по offline-браузерам подробная серия статей на iXBT.com
 
Родственные темы:
Web Organizer-ы (CyberArticle, NetCollector, etc.,)
Мониторинг обновления web-сайтов
RSS Feed Readers | News Aggregators
Сохранение составного flash
rutv.ru Скачиваем потоковое видео

Всего записей: 549 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Igorr
 
Можно перебрать все возможные варианты. Offline Explorer Pro позволяет это сделать с помощью макросов. Например, все варианты из 5 букв:
 
http://www.server.com/dir/{:a..z}{:a..z}{:a..z}{:a..z}{:a..z}.ext

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 21:01 09-11-2013
Igorr

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ASE_DAG
Цитата:
Забавно. На мой совет вы, значит, полагаться считаете возможным.
Действительно забавно -- вы разве не поняли: мне нужен не совет, а решение конкретной задачки.
 
OlegChernavin
Цитата:
Можно перебрать все возможные варианты. Offline Explorer Pro позволяет это сделать с помощью макросов. Например, все варианты из 5 букв:
5 букв я как раз знаю. Я не знаю остальных неизвестно точно сколько.

Всего записей: 2003 | Зарегистр. 01-05-2002 | Отправлено: 00:38 10-11-2013
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
> Можно перебрать все возможные варианты.
Igorr (10:06 09-11-2013)
Цитата:
я знаю 5 первых символов имени файла (а их может быть ~20+-),  


----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 01:15 10-11-2013
diskoff



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
доброго времени суток !
Народ не подскажете позволяет HTTrack  
скачивать определённую ветку сайта  к которой имею доступ ?
Если да то как ? где вводить логин и пароль ?
 
Может там где прокси  ???

Всего записей: 58 | Зарегистр. 16-03-2012 | Отправлено: 01:52 18-12-2013 | Исправлено: diskoff, 02:04 18-12-2013
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
diskoff, если «ветка сайта» — это ветка дерева URI, то да, разумеется. Это же базовый функционал. Как вы искали, что пропустили это мимо?
 
> где вводить логин и пароль?  
Чем не устраивает способ, описанный в шапке ветки про httrack?

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 02:15 18-12-2013
tt43

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ребята, подскажите какой программою легче всего ( и проще) скачать какую-либо ветку
на форуме...да вот даже хотя бы на этом форуме ?

Всего записей: 2217 | Зарегистр. 04-02-2014 | Отправлено: 06:34 21-03-2014
Engaged Clown



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
tt43
На этом форуме можно уложиться в 3 шага:
1) Нажимаем  "Версия для печати".
2) Ждём, пока прогрузится до конца.
3) Нажимаем CTRL-S и сохраняем.

----------
Опросы ru-board'а

Всего записей: 8782 | Зарегистр. 08-06-2006 | Отправлено: 07:10 21-03-2014
tt43

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ну а если рассматривать программы конкретные.
скачал себе web copy (вроде так называется)- вообще ничего толком не смог скачать...
установил после этого httrack - четсно признаюсь. вот именно то,что задумал скачать- так и не скачал, не смого скачать по причине того,что добавляет в скачку много каких-то левых страниц...
вот порекомендовали Teleport ...

Всего записей: 2217 | Зарегистр. 04-02-2014 | Отправлено: 07:35 21-03-2014
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
tt43
 
Опишите, что конкретно хотите скачать - адрес, что нужно, что пропустить. Я смогу дать конкретный совет.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 17:10 21-03-2014
shadow3000



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
камрады, кто подскажет, какая софтина может качнуть картинки с сайта, прописав в их имени текст с исходной страницы? пример: нужно скачать фото товаров и сохранить в виде имен файлов с фото их артикулы, которые прописаны текстом на исходной странице с фото.  
вот пример  
страничка http://www.arkit.ru/lampa-kll-sw-11-vt-2700-k-e14-energosberegayushchaya-svecha-na-vetru-mini
нужно качнуть фото лампочки и прописать именем картинки этот артикул который написан рядом: Артикул:SQ0323-0136

Всего записей: 421 | Зарегистр. 03-02-2002 | Отправлено: 18:18 08-04-2014
Nikolai2004



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
shadow3000
это только предварительной скачкой страницы и её парсингом можно сделать.
под каждый сайт нужно писать специальный код. учите программирование.
вот даю вам готовый скрипт для AutoHotkey

Код:
page = http://www.arkit.ru/lampa-kll-sw-11-vt-2700-k-e14-energosberegayushchaya-svecha-na-vetru-mini
 
UrlDownloadToFile, %page%, temp.html
FileEncoding, UTF-8
 
Loop, read, temp.html
  IfInString, A_LoopReadLine, <img src="http://www.arkit.ru/sites/default/files/styles/product_big/
  {
    url:=A_LoopReadLine
    StringGetPos, pos, url, http://
    StringTrimLeft, url, url, pos
    StringGetPos, pos, url, .jpg
    StringLeft, url, url, % pos+4
    Break
  }
 
Loop, read, temp.html
  IfInString, A_LoopReadLine, <div class="a">
  {
    art:=A_LoopReadLine
    StringGetPos, pos, art, <div class="field-item even">
    StringTrimLeft, art, art, % pos+29
    StringGetPos, pos, art, </div>
    StringLeft, art, art, pos
    Break
  }
 
FileDelete, temp.html
UrlDownloadToFile, %url%, %art%.jpg

в первой строке после page = подставляете адрес любого товара с сайта arkit.ru

Всего записей: 1523 | Зарегистр. 07-01-2004 | Отправлено: 23:49 08-04-2014
shadow3000



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Nikolai2004  
спасибо за ответ, см личку.
 
кто может сделать полностью (практически) автоматизированный вариант, на скриптах или еще как, пишите в личку, готов рассмотреть варианты с разумной оплатой.

Всего записей: 421 | Зарегистр. 03-02-2002 | Отправлено: 23:57 08-04-2014 | Исправлено: shadow3000, 23:14 09-04-2014
shadow3000



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
в первой строке после page = подставляете адрес любого товара с сайта arkit.ru

 
хотя бы подскажите, как это сделать потоковым способом, не вручную же адрес подставлять, тогда смысл скрипта теряется. это так можно взять, и каждуй фотку "сохранить как" руками???

Всего записей: 421 | Зарегистр. 03-02-2002 | Отправлено: 17:38 10-04-2014
AnTul

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Посмотрел те, что в шапке - живой только ОЕ. Подскажите, пожалуйста, есть ли современные бесплатные или недорогие оффлайн-браузеры?

Всего записей: 5484 | Зарегистр. 13-07-2004 | Отправлено: 11:06 17-09-2014
SergeyZX

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Добрый день! Понадобилось скачать сайт. Стоит  HTTrack. Но сайт обрубает доступ после загрузки определенного числа файлов. Прогрмма в свою очередь каждый раз после подключения пытается качать сначала, в том числе при апдейте, т.е. сайт загружается частично, и какдый раз число файлов крутится около одной цифры. Как программу заставить при новом подключении загружать отсутсвующие страницы и файлы, а то, что есть, уже не трогать?
Второе, не могу понять почему, но не загружены картинки на страницах статей. Т.е. на индексных страницах изображения загрузились, но если пройти по ссылкам до самих страниц со статьями, то на них нигде нет изображений. Это где я чего еще не включил?

Всего записей: 281 | Зарегистр. 03-05-2003 | Отправлено: 15:55 19-09-2014 | Исправлено: SergeyZX, 15:58 19-09-2014
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
SergeyZX
 
Возможно, что на странице настроек Update Mode надо выбрать "Continue interrupted download".

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 21:23 19-09-2014
dustraman

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
всем всего самого лучшего!
 
я журналист и музыкальный коллекционер. вместе с несколькими друзьми из разных стран мы, за долгие годы, собрали гигантскую, уникальную коллекцию, очень строго и аккуратно организованную и дополненную большим количеством дополнительной информации. очень надеемся, что со временем всё это превратится в нечто вроде вроде музыкальной онлайн библиотеки, если удастся решить проблемы с копирайтом...
 
хотя каждый из нас тратит бОльшую часть свободных денег на музыку и мы постоянно переписывемся со многими музыкантами и коллекционерами по всему миру, часто приходится сохранять материалы из сети - в том числе и такие, которые... ...не особенно желают сохраняться на ваши винчестеры (по разным причинам). неудивительно, что за многие годы я освоил все возможные и невозможные приёмы и способы "выемки" и сохранения онлайн-информации...  на  сегодняшний проблем с эти деликатным делом практически не осталось.
 
кроме одной. а именно - сохранения некоторых сайтов, состоящих исключительно из flash-контента. то есть, что здесь активно обсуждалось. в принципе, небольшие сайты можно - и даже предпочтительно - сохранять вручную, отдельными страницами. но последнее время появляются такие звери, которые даже этого не позволяют (не говоря уже об использовании оффлайн-браузеров)!!  в самом крайнем случае, можно даже просто делать сканы страниц. но если на страницах присутствуют блоки невыделяемого текста с прокруткой, стрим-видео и так далее, ручная сборка/разборка всего этого превращается в утомительную и даже какую-то унизительную работу, занимающую кучу времени...
 
прошу прощения за долгое предисловие. вот конкретный вопрос: если способ сохранить весь активный/информативный контент вот этого (например) сайта за (относительно) небольшое время (пускай хотя бы без видео):
http://www.susanjacks.com ???
 
буду бесконечно благодарен за любую помощь или РЕАЛЬНО ценный совет!

Всего записей: 2 | Зарегистр. 10-08-2011 | Отправлено: 02:40 22-05-2015
Nikolai2004



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
dustraman
казалось бы, посоветую-ка я универсальный метод качания любого флеш-сайта, а фиг.
метод хороший, много раз испытан, но на susanjacks.com он что-то не работает.
 
короче, есть такой кэширующий прокси-сервер HandyCache. в теории всё просто: запускаем, настраиваем на него браузер, загружаем сайт, ходим по нужным страницам. HandyCache при этом всё сохраняет, даже сложные составные флеш-объекты. потом переводим HandyCache в автономный режим и сайт продолжает работать уже без интернета.
 
но сайт susanjacks.com очень хитрый и через обычный http-proxy вообще не загружается. зато он работает через socks5 proxy, но к сожалению в этом режиме HandyCache не кэширует содержимое. может если вы дальше поищете решение в этом направлении, то что-то выйдет?

Всего записей: 1523 | Зарегистр. 07-01-2004 | Отправлено: 21:28 22-05-2015
mithridat1



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Nikolai2004

Цитата:
но сайт susanjacks.com очень хитрый и через обычный http-proxy вообще не загружается.

Непонятно,с чего вы это взяли - у меня отлично загружается через squid (правда,видео не грузится,но и без прокси аналогично).Значит,теоретически ваш способ загрузки сайтов должен работать.

Всего записей: 4947 | Зарегистр. 05-01-2006 | Отправлено: 18:42 25-05-2015
dustraman

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Nikolai2004


Цитата:
mithridat1

 
спасибо! опробую HandyCache и, вообще, поэкспериментирую с прокси.
всё видео забрал в отдельную папку, с остальным, надеюсь, получится.  

Всего записей: 2 | Зарегистр. 10-08-2011 | Отправлено: 23:35 25-05-2015
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru