Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Открыть новую тему     Написать ответ в эту тему

Orlon



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сравниваем возможности и недостатки оффлайн-браузеров:
OfflineExplorer - (Pro/Potable/Enterprise)
Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)
 
WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot...
Что лучше?
 
ТАБЛИЦЫ СРАВНЕНИЯ :
 
1. по версии разработчика OfflineExplorer цитата
2. по версии автора статьи на iXBT.com
 
Путеводитель по offline-браузерам подробная серия статей на iXBT.com
 
Родственные темы:
Web Organizer-ы (CyberArticle, NetCollector, etc.,)
Мониторинг обновления web-сайтов
RSS Feed Readers | News Aggregators
Сохранение составного flash
rutv.ru Скачиваем потоковое видео

Всего записей: 549 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011
IvenGo



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Ой . У меня проблемка возникла. Когда я качал телепортом там можно было задавать время через которое сохранялся файл проекта.  
Вот перешел на OEE. Там есть функция "Приостановить в файл". Но беда в том что один нехороший чел выключил мой комп и я не успел Приостановить в файл. Что можно сделать чтоб нормально докачать с того места? Ато жалко 50 метров - коту под хвост.

Всего записей: 197 | Зарегистр. 19-08-2003 | Отправлено: 11:49 06-04-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
кстати кто еще кроме тебя работает над OE ?

 
Если честно, то больше никого - только я сам.  
 
Конечно, некоторые части кода заказывал "на стороне", но их немного - поддержка вычислений в ява скриптах и RTSP.
 

Цитата:
Помнится как-то сам хотел его доработать; обратился за исходничком по почте , а в ответ тишина.

 
Ну, я его вообще-то сам постоянно дорабатываю - уже вот 6.1 версия вышла, правда под названием Offline Explorer 3.1. Исходников Web Downloader в чистом виде, к сожалению, не осталось - этот код просто сильно изменился и сейчас составляет основу Offline Explorer. Некоторые файлы по элементам интерфейса остались, но они без ядра (скачивание, обработка) ничего не значат.
 
А не отвечаю просто потому, что такого адреса увы больше нет - arny@saransk.sitek.net. У местного провайдера сменился домен и за старый они больше не отвечают. Так что пишите на support@metaproducts.com - мне переправят.
 

Цитата:
Можно в OE задавать ограничение скорости закачки в конкретных числах?

 
Конечно! Это есть в Настройках | Скорость.
 
Добавлено

Цитата:
Что можно сделать чтоб нормально докачать с того места?  

 
Да нет проблем - просто выберите проект и нажмите Ctrl-F5 - ОЕ пройдет по всем скачанным файлам и докачает отсутствующие ссылки.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 19:17 06-04-2004
IvenGo



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Ну, я его вообще-то сам постоянно дорабатываю - уже вот 6.1 версия вышла, правда под названием Offline Explorer 3.1.

Я ведь так и понял. Вот поэтому уже нет необходимости в моей доработке .
 
------------------
А справку по OE я всеж прочту до конца. Ато стыдно такие вопросы задавать.
 

Всего записей: 197 | Зарегистр. 19-08-2003 | Отправлено: 11:44 07-04-2004 | Исправлено: IvenGo, 11:52 07-04-2004
vladmir

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
А metaproducts это Вы и ещё другие разработчики, объединившиеся для совместного ведения бизнеса, или сторонняя фирма, где  Вы на контракте?
До сих пор в Саранске живёте? Тогда соседи практически.

Всего записей: 2232 | Зарегистр. 22-01-2003 | Отправлено: 13:14 07-04-2004
IvenGo



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
1. Нет ли в OE такой возможности (режима) чтоб при наведении на любую ссылку открытой во встроемном браузере HTML-страницы  загружаемого проекта всплывала например подсказка отображающая уровень этой ссылки. И чтоб подсказака с уровнем всплывала и при наведении мауса на папку , файл в карте сайта.
 
Offtop:
2. Люди никто не качал случайно версию машинного перевода статей по .Net с сайта http://www.gotdotnet.ru  ? Скока это удовольствие весит?

Всего записей: 197 | Зарегистр. 19-08-2003 | Отправлено: 14:41 08-04-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
А справку по OE я всеж прочту до конца. Ато стыдно такие вопросы задавать.

 
Если в справке какие-то вопросы не затронуты, или не полностью описаны, дайте мне знать - добавлю информацию.
 

Цитата:
А metaproducts это Вы и ещё другие разработчики, объединившиеся для совместного ведения бизнеса, или сторонняя фирма, где  Вы на контракте?  

 
Мы на контракте, но практически весь персонал - уже русские, даже директор по маркетингу, так что у нас скорее партнерство с компанией, нежели отношения начальник-подчиненный.
 

Цитата:
До сих пор в Саранске живёте? Тогда соседи практически.

 
Да, все в Саранске. А Вы где?
 

Цитата:
1. Нет ли в OE такой возможности (режима) чтоб при наведении на любую ссылку открытой во встроемном браузере HTML-страницы  загружаемого проекта всплывала например подсказка отображающая уровень этой ссылки. И чтоб подсказака с уровнем всплывала и при наведении мауса на папку , файл в карте сайта.

 
Пока нет, но возможно, в карте такое скоро появится. А зачем нужно?

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 15:41 08-04-2004
IvenGo



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Пока нет, но возможно, в карте такое скоро появится. А зачем нужно?  

Для тогочтоб легко определять какой это уровень , на сколько загрузился проект и стоитли увеличить уровень. Кстати неплохо былоб чтоб можно было посмотреть скока уровней в данный момент закачалось полностью.
 
 
Перцы!! Помогите!!
У меня проблема со скачиванием одного "сайта". Тема такая . Существует онлайн перевод статей по .Net на сайте http://www.gotdotnet.ru .
Здесь: http://www.gotdotnet.ru/DotNet/MSDNTranslate/default.aspx
Чтобы скачать этот весь перевод я решил создать проект в OEE (у меня версия 3.0.1482)со стартовым адресом http://www.gotdotnet.ru/msdn.aspx?page_no=101  
Поставил уровень 1
Когда часть сайта загрузилась я решил Export-ировать это в определенный каталог. Захожу после экспортированияв эту папку щелкаю по главному файлу. Блин! Каждая страница грузится по 3-5 минут (!). Почему?
Решил посмотреть это все во втроеном браузере OEE (без экспорта). Там все открывается быстрее. Но тогда другая беда. Фрейм в котором находится вся нужная мне информация имеет маленкие размеры (!) . Не такие как должен.
Как же мне быть?
 
 
Добавлено
А Телепортом Про я тоже пытался скачать это. И телепорт скачал! Да вот только после этого его скачивания я вообще ни одну страничку открыть не смог на локале(!)

Всего записей: 197 | Зарегистр. 19-08-2003 | Отправлено: 15:15 09-04-2004
vladmir

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
В Нижнем - северный сосед.~)

Всего записей: 2232 | Зарегистр. 22-01-2003 | Отправлено: 16:47 09-04-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Для тогочтоб легко определять какой это уровень , на сколько загрузился проект и стоитли увеличить уровень. Кстати неплохо былоб чтоб можно было посмотреть скока уровней в данный момент закачалось полностью.  

 
В статус-баре пойдет показывать уровень?
 
Насчет сколько уровней закачалось - это проблема, т.к. один файл с первого уровня может в очереди застрять и что мне тогда показывать? Это надо всю очередь пробегать, а в случае больших сайтов (сотни тысяч адресов) это будет очень долго.
 

Цитата:
Каждая страница грузится по 3-5 минут (!). Почему?  

 
Это похоже из-за этого скрипта - он вычисляет адреса каждый раз по разному. Естественно, такоо случайного адреса нет на диске, а MS IE почему-то очень медленно открывает страницы, когда какого-то файла нет.
 
hotlog_js="1.0";
hotlog_r=""+Math.random()+"&s=71692&im=105&r="+escape(document.referrer)+"&pg="+
escape(window.location.href);
document.cookie="hotlog=1; path=/"; hotlog_r+="&c="+(document.cookie?"Y":"N");
</script><script language="javascript1.1">
hotlog_js="1.1";hotlog_r+="&j="+(navigator.javaEnabled()?"Y":"N")</script>
<script language="javascript1.2">
hotlog_js="1.2";
hotlog_r+="&wh="+screen.width+'x'+screen.height+"&px="+
(((navigator.appName.substring(0,3)=="Mic"))?
screen.colorDepth:screen.pixelDepth)</script>
 

Цитата:
Решил посмотреть это все во втроеном браузере OEE (без экспорта). Там все открывается быстрее. Но тогда другая беда. Фрейм в котором находится вся нужная мне информация имеет маленкие размеры (!) . Не такие как должен.  

 
Сотрите файл http://msdn.microsoft.com/library/en-us/vsintro7/scripts/dtue.css
Эта проблема из-за него. Он использует ссылку на http://msdn.microsoft.com/library/en-us/vsintro7/scripts/hxlinktable.htc для управления какими-то событиями, но скорее всего, из-за настроек проекта этот файл не загрузится. Так что проще будет CSS удалить.
 

Цитата:
В Нижнем - северный сосед.~)

 
Здорово!

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 22:36 09-04-2004
IvenGo



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Это похоже из-за этого скрипта - он вычисляет адреса каждый раз по разному.  

Для чегож он это делает? Это где такое? в каждом HTML?

Цитата:
Сотрите файл http://msdn.microsoft.com/library/en-us/vsintro7/scripts/dtue.css  

Не помогает

Цитата:
Насчет сколько уровней закачалось - это проблема, т.к. один файл с первого уровня может в очереди застрять и что мне тогда показывать? Это надо всю очередь пробегать, а в случае больших сайтов (сотни тысяч адресов) это будет очень долго.  
 

Так я и думал.

Цитата:
В статус-баре пойдет показывать уровень?  

Да будет здорово.

Всего записей: 197 | Зарегистр. 19-08-2003 | Отправлено: 13:33 10-04-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Для чегож он это делает? Это где такое? в каждом HTML?

 
Это похоже на счетчики посещений на каждой странице. Насчет стирания файла - мне пришлось выйти из программы и зайти снова - MS IE кеширует стили, так что Refresh не всегда срабатывает.
 

Цитата:
В статус-баре пойдет показывать уровень?  
 
Да будет здорово.  

 
ОК. Буду делать.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 16:47 10-04-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
В статус-баре пойдет показывать уровень?  

 
Сделал. В 3.1 SR1 появится. Версия будет примерно после 20-го числа.
 

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 13:15 12-04-2004
IvenGo



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
OlegChernavin
спасибо что подсказал на счет того сайта. теперь все нормально пашет.

Цитата:
Насчет сколько уровней закачалось - это проблема, т.к. один файл с первого уровня может в очереди застрять и что мне тогда показывать? Это надо всю очередь пробегать, а в случае больших сайтов (сотни тысяч адресов) это будет очень долго.  

Так а что если сделать так:
В статистике проекта кроме всего прочего (что там есть) такая табличка
Уровень|Количество загруженых файлов уровня| Количество оставшихся файлов уровня
1
2
.....
И тд для всех уровней  
---------------------------------------------------------------
Помоему это будет удобно. А то вот в статусбаре при закачке OE показывает количество файлов в очереди. так это количество все время меняется и я себя изза этого чувствую как тот ослик. На ослике сидит человек держит в руках удочку а на удочке морковка. Ослик идет за морковкой а она естественно удаляется и удаляетя.
 

Цитата:
 Это надо всю очередь пробегать, а в случае больших сайтов (сотни тысяч адресов) это будет очень долго.  

За чемже пробегать всю очередь? Можно завести переменные для хранения количества файлов в очереди того или иного уровня. При добавлении файла в очередь увеличивать  значение соответствующей переменной. При выбытии файла из очереди - уменьшать. Можно ведь так?
 

Всего записей: 197 | Зарегистр. 19-08-2003 | Отправлено: 13:54 12-04-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
За чемже пробегать всю очередь? Можно завести переменные для хранения количества файлов в очереди того или иного уровня. При добавлении файла в очередь увеличивать  значение соответствующей переменной. При выбытии файла из очереди - уменьшать. Можно ведь так?  

 
Можно, но опять-же, для больших сайтов уровней может быть очень много. Честно говоря, я не уверен насчет этой фичи. Боюсь, что практически не будет востребована. Поэтому пока не буду обещать насчет ее реализации.
 
Прошу меня правильно понять - запросов на новые фичи очень много и сли все реализовывать, то будет супернавороченная программа, у которой дикое кол-во настроек и которая медленно работает. Поэтому приходится "фильтровать" запросы.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 10:47 13-04-2004
IvenGo



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Сделал. В 3.1 SR1 появится. Версия будет примерно после 20-го числа.  

 
Чето нету этой фичи в SR1.
 
Тут еще вопрос такой... Мне надо скачать диапазон страниц с уровнем 0. Под нулевым уровнем подразумеваются картинки, CSS, и т.д., но не архивы. А нельзя чтоб регулировалось то что называется уровнем? Ато если я чтоб скачать архивы увеличу сам уровень то скачаю. много лишнего так как скачаются страницы находящиеся глубже.

Всего записей: 197 | Зарегистр. 19-08-2003 | Отправлено: 12:03 18-05-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Чето нету этой фичи в SR1.  

 
Есть, просто файлы старых проектов могут не содержать информации об их уровне. Для новых проектов это должно работать.
 
 

Цитата:
Тут еще вопрос такой... Мне надо скачать диапазон страниц с уровнем 0. Под нулевым уровнем подразумеваются картинки, CSS, и т.д., но не архивы. А нельзя чтоб регулировалось то что называется уровнем? Ато если я чтоб скачать архивы увеличу сам уровень то скачаю. много лишнего так как скачаются страницы находящиеся глубже.  

 
Можно запретить скачивать HTML файлы в URL Filters | Filename - добавить в исключения *.htm - тогда при уровне 1 они не скачаются, только ссылки на архивы.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 13:56 18-05-2004
izograv



Full Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Вот такой вопросец, к Олегу наверное: OE висит у меня как сервис, т.е. с командной строки запустить не могу. Как мне проще реализовать последовательную закачку проектов? Сейчас стоит по расписанию, что не удобно по такой причине: я не знаю заранее, сколько времени займет закачка проекта. Т.е. проект может быстро завершиться, а до запуска следующего осталось N минут, это будет простой. Вот если бы была опция в свойствах проекта или в ином другом месте, типа: после успешного/опционно неуспешного завершения проекта перейти к закачке другого заданного проекта.

Всего записей: 591 | Зарегистр. 25-04-2002 | Отправлено: 16:02 18-05-2004
IvenGo



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
OlegChernavin
дык получается если я в OEE сайт скачал а затем изменил настройки и пустил на закачку снова то он файлы неотвечающие новым настройкам, но уже скачаные, не сотрет c диска.  
А как сделать чтоб он по выбору либо стирал либо не стирал.
 
PS Сдается мне что над help-ом (над его созданием) Вам надор еще поработать. Слишком много ньюансов неосвещены или о них сказано вскользь. Нужна масса примеров....

Всего записей: 197 | Зарегистр. 19-08-2003 | Отправлено: 14:29 19-05-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Вот такой вопросец, к Олегу наверное: OE висит у меня как сервис, т.е. с командной строки запустить не могу. Как мне проще реализовать последовательную закачку проектов? Сейчас стоит по расписанию, что не удобно по такой причине: я не знаю заранее, сколько времени займет закачка проекта. Т.е. проект может быстро завершиться, а до запуска следующего осталось N минут, это будет простой. Вот если бы была опция в свойствах проекта или в ином другом месте, типа: после успешного/опционно неуспешного завершения проекта перейти к закачке другого заданного проекта.

 
Такое есть - меню Вид - Последовательность запуска.
 
Кстати, как удалось заставить ОЕ работать как сервис? Если можно, с деталями. Спасибо!
 

Цитата:
дык получается если я в OEE сайт скачал а затем изменил настройки и пустил на закачку снова то он файлы неотвечающие новым настройкам, но уже скачаные, не сотрет c диска.  
А как сделать чтоб он по выбору либо стирал либо не стирал.  
 

 
Можно сделать так - добавить в поле адресов проекта строчку:
 
Additional=DeleteOldFiles
 
ОЕ будет вести список всех ссылок, затронутых в новой закачке и потом сравнит его с картой. Все лишние ссылки будут удалены.
 

Цитата:
PS Сдается мне что над help-ом (над его созданием) Вам надор еще поработать. Слишком много ньюансов неосвещены или о них сказано вскользь. Нужна масса примеров....  

 
Безусловно. Напишите мне на support@metaproducts.com что конкретно надо описать. Буду работать.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 11:30 20-05-2004
izograv



Full Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Такое есть - меню Вид - Последовательность запуска.  

 
Есть то оно есть, только я тупой никак не могу понять, как оно работает. У меня зашедулено куча проектов, в основном daily. Когда я вхожу в Управление расписанием -> Ежедневно, я их все вижу, вопросов нет, кстати, очень неудобен интерфейс отображения:  за 30- минут у меня стоят 9 проектов. И на экране они отображаются фактически как одна сплошная синяя стрелочка. Було бы очень удобно ввести возможность укрупнения масштаба, например, в категорию "ежедневно" ввести более мелкие временные категории etc.
Когда я с "ежедневно" переключаюсь на "последовательность", то вижу табличку, заголовок "проекты" и под ним - ничего. В меню по правой клавише есть "выбрать проект", "установить следующим" etc. Но эти вкладки серые, задисеблены, как их эаэнейблить, или выбрать хоть один первый стартовый проект?  
Подскажите плиз, нужно дать мне первый толчок, я дальше разберусь, кстати в хелпе ни слова про это не нашел, наверное хелп у меня устарел уже?
[/q]
 

Цитата:
Кстати, как удалось заставить ОЕ работать как сервис? Если можно, с деталями. Спасибо!  

 
Для сего использую firedaemon. Не все удается подвесить так как сервис, в частности, флэшгет никак и ничем не смог, а oe, масс даунлоадер и регет - отлично вешаются. причем после выхода-входа в рабочую станцию процесс не прерывается (бывают такие проги, что как сервис повесить удается, но при логон/логоф они аварийно прерываются и восстанавливаются потом средствами мониторинга данного сервиса, то есть получаем такой "неполноценный" сервис

Всего записей: 591 | Зарегистр. 25-04-2002 | Отправлено: 16:06 20-05-2004
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru