Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » MetaProducts Offline Explorer | Offline Browser

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53

Открыть новую тему     Написать ответ в эту тему

unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
MetaProducts Offline Explorer / Portable Offline Browser (Часть 3): Часть 1 Часть 2
--== Сопутствующая тема в разделе Варезник ==--

Offline Explorer™
Portable Offline Browser™
Текущая версия: 8.5.0.4972 ЦП 11.11.2023
Производитель: © 1997-2023 MetaProducts Systems.


Программа предназначена для загрузки, сохранения и экспорта в различные форматы целых сайтов и/или выбранных частей сайта, а также отдельных веб-страниц. При скачивании и сохранении доступно огромное число настроек и опций, позволяющих настроить скачивание под конкретный сайт, независимо от того является ли его контент динамическим или статическим. В качестве форматов экспорта могут выступать точные статические копии сайтов, как в виде вариантов предназначенных для оффлайн использования, так и для онлайн использования; в виде единого файла в формате HTML Help (.CHM); в формате мультифайлового html архива (.MHT); в формате электронной книги в виде исполняемого файла (.EXE); в виде Zip архива.

Portable Offline Browser - скачать - вариант предназначеный для работы с USB/FireWire Flash/HDD!
Offline Explorer Enterprise - скачать - практически не имеет ограничений по сложности проекта.
Offline Explorer Pro - скачать - представляет собой решение среднего уровня.
Offline Explorer - скачать - это решение начального уровня для простых работ.


Скрипты расширяющие возможности программы:
Второе дерево проектов (если вам не хватает одного).
Показать проекты с описаниями (выделенные цветом или со значком) - автор скрипта Rush.
Статьи об Offline Explorer:
FAQ темы
!!! советы, предостережения
!!! Для корректного копирования проектов из этой темы, устанавливаем и пользуемся vbs-модулем от ViSiToR, или же скриптом от Nagual
(после копирования переходим в дерево Offline Explorer и жмём Ctrl+V)
!!! Просьба постить проекты между тегами [more][/more], чтоб не портить читабельность темы.

Родственные темы:
Сравнение оффлайн-браузеров
TextPipe

Всего записей: 6637 | Зарегистр. 14-02-2005 | Отправлено: 16:24 07-12-2015 | Исправлено: Luber, 15:17 11-11-2023
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ChernavinOleg
Мне вот интересен такой, я бы сказал застарелый момент OE (по крайней мере, я о нем знаю с момента начала использования - то есть, больше 15 лет назад).
Не скажу за все сайты, но периодически (случайно, методом тыка) сталкиваюсь с ситуацией, когда OE не скачивает некоторые совершенно однотипные страницы. Причем речь идет не о навороченных говнокодом современных модных страниц, а вполне себе прозаических.
Вот скачивал намедни словарь (точнее, один из)
https://www.grand-dictionnaire-latin.com/dictionnaire-latin-francais.php?pg=1
Простой перебор номеров с шагом 49 (+ сингл для полноты)
https://www.grand-dictionnaire-latin.com/dictionnaire-latin-francais.php?pg={:1..76408|49}
SingleURL=https://www.grand-dictionnaire-latin.com/dictionnaire-latin-francais.php?pg=76408
 
Этот набор содержит исчерпывающий список URL на слова (76455 шт).
Ограничения на уровни нет, но есть фильтр на страницы, которые включать (кроме базовых)
https://www.grand-dictionnaire-latin.com/dictionnaire-latin-francais.php?lemma=*
 
По расчетам, должно скачаться 78022 файла (html) = 1567 базовые +  76455 слова (согласно разрешенным для скачивания URL).
 
Очевидно, задача не отличается сложностью.
 
Но OE, тем не менее, с ходу не смог скачать все страницы, причем даже базовые.
Мне пришлось вручную просто добавить весь список в явном виде.
В данном случае нет никаких ограничений на скачивание с сервера (я не заметил таковых). Аналогичная картина и с разрешенными для скачивания URL - часть из них ОЕ не скачал по неизвестной причине (то есть, отсутствоали случайные страницы, ссылки на которые заведомо присутствовали в успешно скачанных базовых страницах).
 
Если бы список всех URL не был легко просчитываем (я составил вручную весь список из 78022 URL и контролировал его скачивание, поскольку полнота скачивания была принципиальна для меня - речь о словаре). В противном случае, я бы даже не догадался, что ~5% (может меньше, но в данном случае это не имеет значения, поскольку важен сам факт) страниц не скачаны, а OE никак об этом не информирует.
 
Это свежий пример. Но как я сказал - это застарелая болезнь OE, поскольку столкнулся с этим на заре использования программы. И как с ней бороться - не имею малейшего понятия.
Дело не в том, что OE не может чего-то там скачать. Это полбеды. Главная проблема в том, что юзер даже не знает, что задание выполнено не полностью, хотя OE радостно рапортует об обратном.
 
Была бы, например, закладка (наряду с Map, Levels и проч.) типа Problems, на которой по результатам работы был бы представлен список страниц/URL, которые не скачались, на которые сервер дал ответ отличный от 200, которые скачались, но вызывают подозрение (маленький размер, отсутствие каких-то элементов и тд) и прочие проблемы, тогда юзер хотя бы мог узнать о возможной неполноте скачивания. А то странная ситуация - в программе присутствует опция "Проверять всевозможные подкаталоги" (то есть скачивать все, что возможно, даже, если этого в явном виде нет в задании), тогда как у программы имеются проблемы со скачиванием явно заданных на скачивание страниц.
В данном случае все базовые URL явно заданы и программа точно знала их число. Причем, скачав их, она также точно знала минимальное число URL первого уровня (76455) (разумеется я не учитываю вспомогательные файлы, типа css, js и проч., но они и не сильно важны в данном случае). При этом в настройках разрешено 20 раз пытаться скачать при неудаче.
 
Как я уже сказал, это давно замеченная мною беда OE (пропуск страниц, по неизвестным причинам, как минимум, на некоторых сайтах). И лично для меня, она перевешивает все остальные недостатки OE вместе взятые.
 
В этом смысле, бывают ситуации когда мне принципиально важно скачать все имеющиеся страницы, но я знаю лишь примерный шаблон (допустим страницы, номерные, без четкой периодичности и известен лишь примерный диапазон номеров). В таком случае, я предпочитаю использовать старинный FlashGet давая ему пакетное задание на перебор, порою, десятков, а то и сотен тысяч возможных URL, нежели использовать OE. Именно вследствие описанной выше проблемы - случайный пропуск URL (не исключаю, что он и пытается их скачать, но почему-то бросает). FlashGet же (как впрочем и некоторые другие), отличается "цепкостью" по отношению к URL - тупо пытается скачать согласно настройкам, уж если он их бросает, то об этом хотя бы наглядно видно. То есть, он конечно может (по каким-то причинам) не скачать файл, но это случается несоизмеримо реже и по крайней мере, это хоть как-то контролируемо. Хотя на мой взгляд, разницы между OE и FlashGet в подобных заданиях быть не должно, как минимум. Но на практике это не так, в пользу FlashGet. К сожалению.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 22:36 06-07-2020 | Исправлено: Jonmey, 23:07 06-07-2020
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да, подобный подробный отчет включен в версию Enterprise.

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 20:14 08-07-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ChernavinOleg
Вы предлагаете вручную анализировать десятки и сотни тысяч строк без гарантии того, что нужная информация там вообще присутствует?
Причина хронического нескачивания OE части страниц  (как минимум, на некоторых сайтах) не ясна. А потому с большой долей вероятности в этих логах-портянках просто не будет информации об страницах, которые должны были скачаться, но не скачались (как минимум, с первого раза). А ценность остальной информации стремится к нулю.
В итоге, все вернется в начало - ручной подсчет числа урлов и сравнение его с числом скачанных страниц + огромная потеря времени на изучение подробного лога.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 20:56 08-07-2020 | Исправлено: Jonmey, 20:57 08-07-2020
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Нет, там не лог, графический отчет, разбитый по типам файлов

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 21:00 08-07-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вот сейчас запустил
https://www.grand-dictionnaire-latin.com/dictionnaire-francais-latin.php?pg={:1..21285|49}
В результате файл
https://www.grand-dictionnaire-latin.com/dictionnaire-francais-latin.php?pg=9017 не скачан (отсутствует).
Очевидно, что существующий лог тут не поможет от слова никак.
Это какая-то системная проблема OE, которая, вполне допускаю, зависит от конкретного сайта. Но она, тем не менее, должна решаться в рамках OE.


Еще одна попытка. На это раз тсутствует файл
https://www.grand-dictionnaire-latin.com/dictionnaire-francais-latin.php?pg=19111
 
В логе

Цитата:
HTTPS0 - 08.07.2020 15:38:08 - Host www.grand-dictionnaire-latin.com connected. Waiting for https://www.grand-dictionnaire-latin.com/dictionnaire-francais-latin.php?pg=19111.
HTTPS0 - 08.07.2020 15:38:08 - Download complete. Status: 200 OK.

То есть, отсутствуют строки о закачке байт, как в успешных случаях (когда файлы скачаны и наличествуют в папке):

Цитата:
HTTPS0 - 08.07.2020 15:38:08 - Host www.grand-dictionnaire-latin.com connected. Waiting for https://www.grand-dictionnaire-latin.com/dictionnaire-francais-latin.php?pg=18915.
HTTPS0 - 08.07.2020 15:38:08 - 10232 bytes of https://www.grand-dictionnaire-latin.com/dictionnaire-francais-latin.php?pg=18915.
HTTPS0 - 08.07.2020 15:38:08 - 20456 bytes of https://www.grand-dictionnaire-latin.com/dictionnaire-francais-latin.php?pg=18915.
HTTPS0 - 08.07.2020 15:38:08 - 26402 bytes of https://www.grand-dictionnaire-latin.com/dictionnaire-francais-latin.php?pg=18915.
HTTPS0 - 08.07.2020 15:38:08 - Download complete. Status: 200 OK.

Очевидно, что проблема на стороне OE.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 21:28 08-07-2020 | Исправлено: Jonmey, 23:04 08-07-2020
unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey
сам сайт может выкобеливаться и отдавать 0 байт. Если страниц не слишком много, то я, к примеру, запускаю закачку минимум 2 раза.

Всего записей: 6637 | Зарегистр. 14-02-2005 | Отправлено: 02:15 09-07-2020 | Исправлено: unreal666, 02:16 09-07-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
unreal666

Цитата:
сам сайт может выкобеливаться и отдавать 0 байт.

Однако загрузка тех же самых страниц в других программах проходит без запинок и казусов. Вот ведь незадачка для OE.
 
Кроме этого, вы не внимательно читаете (очевидно, по диагонали) написанное выше, поскольку главная проблема не в том, что "что-то не шмогла", а в том, что никак об этом не уведомила. А ведь скачанный файл - это материальный объект и можно проверить его наличие или отсутствие независимо от "выкобеливаний сайтов".

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 02:55 09-07-2020 | Исправлено: Jonmey, 03:00 09-07-2020
unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey
может прога виновата, может случайность. Попробовал твою свевдо-ссылку - скачались все.
 
Добавлено:
хотя все равно это не отменяет твой факт исчезновения / непоявления файла, который фактически указан в начальном URL.

Всего записей: 6637 | Зарегистр. 14-02-2005 | Отправлено: 03:01 09-07-2020 | Исправлено: unreal666, 03:01 09-07-2020
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
unreal666
 
Я полагаю, библиотека WinInet глючит, на которой MS IE построен. Сейчас сделал это скачивание на новой версии через код Chromium, все скачалось и сохранилось.

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 15:06 09-07-2020
callidus



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
 
Баг с вылетом так и остался, когда программа в свой профиль записывает данные, она не проверяет наличие свободного или остаток свободного места на диске, такая ситуация для порташки актуальна, т.к. профиль локальный. Когда место закончилось, программа без предупреждения завершается и не сохраняет результаты парсинга и очереди. Должна быть хотябы минимальная проверка и сразу просьба сохранить в файл очередь ...

Всего записей: 544 | Зарегистр. 04-02-2006 | Отправлено: 23:38 10-07-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Я полагаю, библиотека WinInet глючит, на которой MS IE построен. Сейчас сделал это скачивание на новой версии через код Chromium, все скачалось и сохранилось.

Странная система - речь просто о скачивании и причем тут может быть MS IE, если эту операцию можно проделывать вообще без использования сторонних движков....
Одно дело парсинг, разбор страниц, но совсем другое - скачивание - это можно делать чем угодно, хоть открытыми движками, типа wget, axel, cirl, youtube-dl, ... Не совсем понимаю логику.
На мой взгляд, проще организовать возможность использования и настройки в качестве загрузчика сторонних программ, нежели чего-то изобретать, надеясь на чудо-хромиумы (что может обернуться бесконечным бегом в "обновлизмы каждый день ибо вчерашнее сегодня уже не работает")
 
P.S. Вангую. Ваша программа из WEB 1.0 и для WEB 1.0. Не все понимают, что это значит. Упрощенно говоря, это значит, что тот интернет и  те сайты создавались из идеологии "юзеры сами создадут Интернет и наполнят чем им нравится". Сейчас времена WEB 2.0, которые развиваются по совершенно иному принципу - "мы создадим Интернет для юзеров, поскольку мы знаем что им надо". "Мы" - это прежде всего гиганты IT, за которыми стоят миллиарды денег и миллионы людей. Юзер для них - пассив (в отличие от времен Web 1.0), которым они управляют и доят. А потому, эти самые "Мы" органически не заинтересованы в том, чтобы пассив что-то делал оффлайн. "Мы" сделают все, чтобы перевести максимум сайтов на движки, которые не позволят (или максимально затруднят) создание оффлан копии всего, что "мы" предоставляют пассиву в качестве корма. Поэтому ваша борьба (инициируемая некоторыми любителями современных web-бантиков, в тч. местных) обречена. Вам не угнаться за гигантами в их стремлении подсадить пассив строго на онлайн иглу. Тем паче. что течение времени расширяет круг тех, кому оффлан просто не нужен. В итоге, скорее всего, программа застрянет (автору надоест, малый доход, естественные причины, болезнь и тд), в какой-то произвольной стадии очередной бесконечной перестройки со всеми вытекающими.
В этом смысле, в новых условиях, у визуальных парсеров больше шансов сохраниться на плаву (в смысле создания визуальных оффлайн копий некоторого контента), поскольку им не нужно вникать во все тонкости новых бантичных технологий, тогда как из задача - лишь создать визуальную копию контента страниц или их частей.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 18:30 11-07-2020 | Исправлено: Jonmey, 18:55 11-07-2020
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey
 
Да, поэтому в 7й версии добавлен режим скачивания страниц открывая их в браузере. В 8й версии будет опция (по умолчанию) использовать более современный движок браузера. Как раз шаги в сторону визуальных парсеров/копий контента.
 
Добавлено:
callidus
 
А в Настройках программы есть же лимит минимального места на диске. Его можно увеличить с 5 мб по умолчанию.

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 08:56 13-07-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ChernavinOleg
Дай бог, чтобы хватило сил и терпения.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 02:43 15-07-2020
M2rk

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Возможно кто-то уже сталкивался и сможет помочь: сайт (htmlacademy.ru) отображается в режиме просмотра страниц без медиа-контента и скриптов. То есть только текст, да так, что даже читать невозможно. Скачиваются страницы соответственно так же. Как исправить данную проблему?

Всего записей: 1 | Зарегистр. 16-07-2020 | Отправлено: 14:29 27-07-2020 | Исправлено: M2rk, 09:56 07-08-2020
cuneiform

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Меня интересуют с этого сайта 3 директории (может линки есть на другие страницы) с контентом по буквам А-Z  
 
https://www.redensarten-index.de/synregister/a.php ---> z.php  
https://www.redensarten-index.de/erlregister/a.php
https://www.redensarten-index.de/register/a.php
 
Я линки в проект задавал как
 
https://www.redensarten-index.de/synregister/
https://www.redensarten-index.de/erlregister/
https://www.redensarten-index.de/register/  
 
 
Но внутренний броузер их не открывает online, пишет ошибку (скриншот 1-2), естессно ничего не скачивается.
 
Понятно, если сайт не скачан, то документ не найден, но ведь и онлайн его не видно во внутреннем броузере.
 
Как скачать списки по буквам А-Z?
 

 

 
 
 

Всего записей: 2061 | Зарегистр. 27-04-2006 | Отправлено: 01:55 07-10-2020 | Исправлено: cuneiform, 23:15 09-10-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
cuneiform
Все скачивается даже с настройками по умолчанию.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 06:28 09-10-2020
Highlander_2



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А меж тем вышла новая версия - 8.0, использующей в том числе движок Хромиум.

Всего записей: 218 | Зарегистр. 19-05-2017 | Отправлено: 13:01 09-10-2020
cuneiform

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey

Цитата:
Все скачивается даже с настройками по умолчанию.

 
Спасибо, успокоил. )))))))
2 версии OE перепробовал, не могу найти причину.
Прога не видит сайт во внутреннем броузере, видно ведь на скриншоте желтым цветом показано, почему?
У меня кста ХР стоит, а нe 10!
Но другие то страницы скачивает!
 
Вебстраницу видно во всех броузерах, а прога адреса не видит!
DNS error ?! X.3.    
 

 
mial.ru однако открывает:
 

Всего записей: 2061 | Зарегистр. 27-04-2006 | Отправлено: 23:20 09-10-2020 | Исправлено: cuneiform, 00:37 10-10-2020
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
cuneiform
 
Да, в 8й версии открывается этот сайт во встроенном браузере

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 00:41 10-10-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
cuneiform

Цитата:
Спасибо, успокоил.

Да не за что.

Цитата:
2 версии OE перепробовал, не могу найти причину.

А мне постоянно хорошие экземпляры дистрибутивов попадаются, например

Видимо, как утверждают некоторые индивиды - при передаче через интернеты портится не только звук (например. у рипов), но и программы и даже буквы в документах.  Вот, а мне все время наверное везет, поскольку ничего не портится и даже скачанные страницы показываются...

Цитата:
У меня кста ХР стоит, а нe 10!

Не поверите, но у меня тоже не 10.
А вот с XP и надо было начинать ваши стоны (они у вас песней зовутся), и с чтения темы. Программа OE использует движок IE (установленного в системе) для отображения страниц. Соответственно, многие сайты корректно (или совсем) не отображаются в IE старых версий. Этот эффект распространяется и на внутренний браузер OE. То есть, чем новее IE установленный в системе, тем больший круг сайтов беспроблемно отображается во внутреннем браузере OE.
 
По заверениям автора в 8-ой версии OE имеет собственный браузерный движок.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 07:53 10-10-2020
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53

Компьютерный форум Ru.Board » Компьютеры » Программы » MetaProducts Offline Explorer | Offline Browser


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru