Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » MetaProducts Offline Explorer | Offline Browser

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53

Открыть новую тему     Написать ответ в эту тему

unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
MetaProducts Offline Explorer / Portable Offline Browser (Часть 3): Часть 1 Часть 2
--== Сопутствующая тема в разделе Варезник ==--

Offline Explorer™
Portable Offline Browser™
Текущая версия: 8.5.0.4972 ЦП 11.11.2023
Производитель: © 1997-2023 MetaProducts Systems.


Программа предназначена для загрузки, сохранения и экспорта в различные форматы целых сайтов и/или выбранных частей сайта, а также отдельных веб-страниц. При скачивании и сохранении доступно огромное число настроек и опций, позволяющих настроить скачивание под конкретный сайт, независимо от того является ли его контент динамическим или статическим. В качестве форматов экспорта могут выступать точные статические копии сайтов, как в виде вариантов предназначенных для оффлайн использования, так и для онлайн использования; в виде единого файла в формате HTML Help (.CHM); в формате мультифайлового html архива (.MHT); в формате электронной книги в виде исполняемого файла (.EXE); в виде Zip архива.

Portable Offline Browser - скачать - вариант предназначеный для работы с USB/FireWire Flash/HDD!
Offline Explorer Enterprise - скачать - практически не имеет ограничений по сложности проекта.
Offline Explorer Pro - скачать - представляет собой решение среднего уровня.
Offline Explorer - скачать - это решение начального уровня для простых работ.


Скрипты расширяющие возможности программы:
Второе дерево проектов (если вам не хватает одного).
Показать проекты с описаниями (выделенные цветом или со значком) - автор скрипта Rush.
Статьи об Offline Explorer:
FAQ темы
!!! советы, предостережения
!!! Для корректного копирования проектов из этой темы, устанавливаем и пользуемся vbs-модулем от ViSiToR, или же скриптом от Nagual
(после копирования переходим в дерево Offline Explorer и жмём Ctrl+V)
!!! Просьба постить проекты между тегами [more][/more], чтоб не портить читабельность темы.

Родственные темы:
Сравнение оффлайн-браузеров
TextPipe

Всего записей: 6637 | Зарегистр. 14-02-2005 | Отправлено: 16:24 07-12-2015 | Исправлено: Luber, 15:17 11-11-2023
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Sauron_zombie
Попробуйте использовать url такого вида (пример, лишь одного URL)

Код:
http://problems.ru/view_by_subject_new.php?parent=265&start=0&viewing_params[view_amount]=100&viewing_params[view_solutions]=on&viewing_params[submit]=!

Еще к URL можно добавить фильтр по сложности задач

Код:
difficulty_min=1&difficulty_max=10&grade_min=5&grade_max=11

То есть список шаблонов URL, которые вам нужно добавить в ОЕ будет вида
 
http://problems.ru/view_by_subject_new.php?parent={:Value1,Value2,…,ValueN}&start={:0..300|100}&viewing_params[view_amount]=100&viewing_params[view_solutions]=on&viewing_params[submit]=!difficulty_min=1&difficulty_max=10&grade_min=5&grade_max=11

где Value1,Value2,…,ValueN - это список намеров разделов с задачками, которые вы собираетесь скачать.
 
Не знаю, как вы собираетесь использовать скачанное, но если вы собираетесь просматривать его как часть скачанного сайта (то есть. с работающими ссылками, которые будут адресовываться не на оригинальные страницы, а на скачанные вами), то вам нужно произвести замены в адресах (см. настройки программы), применив их к скачанным страницам (но НЕ к адресам, по которым вы скачиваете их из интернета). Возможны два варианта замен
- оригинальные адреса на страницах заменить на имена скачанных страниц
- именам скачанных страниц дать имена оригинальных
Если не поняли. о чем я говорю, то пример:
Когда вы будете (в скачанных страницах) нажимать на ссылку типа, напр.,
.../view_by_subject_new.php?parent=79&start=0
то она отправит вникуда или на сайт в инете (в зависимости от настроек проекта).
Сделав же корректные замены адресов, эта же ссылка отправит вас на скачанную страницу, оригинальный URL которой
http://problems.ru/view_by_subject_new.php?parent=79&start=0&viewing_params[view_amount]=100&viewing_params[view_solutions]=on&viewing_params[submit]=!difficulty_min=1&difficulty_max=10&grade_min=5&grade_max=11

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 23:34 16-06-2020 | Исправлено: Jonmey, 23:43 17-06-2020
Sauron_zombie



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey
 
Спасибо большое!
Тут проблема в том, что эти длинные ссылки с параметрами работают в настоящем браузере в режиме онлайн.
Возможно, что они и подгрузили контент в проект, когда я добавил эту ссылку в проект (скрин) и нажал Загрузить.
Но вот когда открываешь это во встроенном браузере, то нет никаких фильтров и чекбоксов (скрин).
И когда нажимаешь на кнопку Показать, то возникает та ошибка, про которую я уже говорил (скрин).

Цитата:
Не знаю, как вы собираетесь использовать скачанное

Если бы всё работало, как надо, то я бы имел все задачи в оффлайне - чекбокс "с решениями" позволяет показывать ниже самой задачи и собственно решение. Так что проваливаться в каждую задачу не нужно.
А по 100 задач на странице - это для упрощения, чтобы меньше мороки с дроблением (хотя, хз).

Всего записей: 536 | Зарегистр. 31-01-2006 | Отправлено: 01:22 19-06-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Sauron_zombie
Онлайн элементы управления (чебоксы, поиск по сайту и проч.) не будут работать в оффлайн режиме, если они используют онлайн запросы - по определению.
То есть, в общем случае, невозможно сделать точную копию (по функционалу) динамического сайта (на скриптовом движке, типа PHP, ASP, Perl и т.д.), как данный, простым скачиванием страниц с контентом. Это закон, который обойти невозможно никак.
Любые качалки скачивают лишь контент.
 
Максимум, что вы можете сделать для настроенных по вашему желанию онлайн страниц, которые вы скачали - произвести замену адресов, когда вместо страниц которые показываются по умолчанию, будут демонстрироваться страницы, которые скачали. Об этом я и написал выше. но вы это посчитали неважным (ака у меня такая забава - писать ненужное) для вас, что напрямую следует из вашего сообщения.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 18:28 20-06-2020 | Исправлено: Jonmey, 20:04 20-06-2020
Sauron_zombie



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey
 
Перечитал своё сообщение и не увидел нигде обидных слов.
В любом случае, если что не так - прощу прощения! Если бы не Ваши ответы, то я вообще бы ничего не знал.  
Я понимаю, что сделать клон интерактивного портала невозможно, но считал, что можно сохранять по 100 решений хотя бы постранично.
 
Я пробовал, как Вы посоветовали.
Сделал проект с единственным URL и глубиной 0. Использовал этот шаблон:  

Код:
 
http://problems.ru/view_by_subject_new.php?parent={:78}&start={:0..1100|100}&viewing_params[view_amount]=100&viewing_params[view_solutions]=on&viewing_params[submit]=!difficulty_min=1&difficulty_max=10&grade_min=5&grade_max=11
 

Нажав Загрузить, получил всего 19 файлов (скрин).
Страница при этом не содержит вообще ничего, даже дефолтные "по 5" и без решений отсутствуют.
 
Пробовал сохранять средствами браузера, но тоже фейл:
исходная страница vs сохранённая как html
 
Видимо, этот сайт - крепкий орешек.
 
Добавлено:
Jonmey
Если есть какие возможные варианты, то подскажите, пожалуйста!  
Делать замену адресов, получается, не на чем? Страница просто не подгружается же.

Всего записей: 536 | Зарегистр. 31-01-2006 | Отправлено: 21:33 21-06-2020 | Исправлено: Sauron_zombie, 21:37 21-06-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Sauron_zombie

Цитата:
Видимо, этот сайт - крепкий орешек.

Сайт - элементарный, из времен Web 1.0.
Просто, вы непонятно что и как скачиваете. В частности, скачав 19 текстовых файлов html вы желаете чтобы страницы отображаллись как надо, для чего, например, требуемые страницами файлы .css должны, по-вашему, материализоваться из воздуха.
Нужно скачивать ВСЕ типы файлов, которые требуются для корректного отображения страницы. В простейшем случае (этот метод, как правило не сохраняет файлы, на которые есть ссылки, напр. из .css файлов), откройте страницу которую хотите скачать в OE в ОБЫЧНОМ браузере, сохраните ее ОБЫЧНЫМ образом, например как test.htm. Зайдите в сопряженную с ней папку и посмотрите ТИПЫ файлов которые в ней находятся - ВСЕ эти типы файлов должны быть разрешены для скачивания в настройках проекта.
Далее  настройте обработку ссылок - ОНЛАЙН или ОФФЛАНН (ни в коем случае - "Без изменения").
 
И наконец, мне не нужны скриншоты от слова совсем. Они не несут никакой информации в данном случае. Если хотите предметной помощи, то, как я это уже говорил примерно 100500 раз ранее, выкладывайте свой файл проекта (File - Projet settings - Save to text file) и (а это уже для вашего случая) еще и скачанные файлы проекта (в заархивированном виде) - все, а не только текст (нтмл). Без этого не вижу смысла продолжать.
 
Обиды никакой нет, просто вы с абсолютной уверенностью генерируете глупости и делаете на их основе основе "неколебимые" выводы.
 
P.S. По ссылке

Цитата:
http://problems.ru/view_by_subject_new.php?parent=78&start={:0..1100|100}&viewing_params[view_amount]=100&viewing_params[view_solutions]=on&viewing_params[submit]=!difficulty_min=1&difficulty_max=10&grade_min=5&grade_max=11

с нулевым уровнем скачивания скачивается ~631 файл общим объемом ~6 мегабайт, которые отображаются в корректном виде ваще в любом браузере (это же WEB 1.0 !!!):
http://i112.fastpic.ru/big/2020/0621/19/_99855ed2c3aad78052c4ddd79a400b19.png

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 22:22 21-06-2020 | Исправлено: Jonmey, 22:50 21-06-2020
Sauron_zombie



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey
 
Большое спасибо за разъяснение и помощь!
Понял свою ошибку - я использовал неправильный шаблон, т.е. макрос для параметра parent

Код:
http://problems.ru/view_by_subject_new.php?parent={:78}&start={:0..1100|100}&viewing_params[view_amount]=100&viewing_params[view_solutions]=on&viewing_params[submit]=!difficulty_min=1&difficulty_max=10&grade_min=5&grade_max=11  

 
 
Добавлено:

Цитата:
вам нужно произвести замены в адресах (см. настройки программы), применив их к скачанным страницам

Я провожу замену средствами OE?
В свойствах проекта есть раздел "Дополнительно - Изменение ссылок". Сейчас стоит вариант "Трансляция для локального просмотра".
Или же брать редактор и в исходном коде менять ссылки блока  

Код:
Страница: 1 2 3 4 5 6 7 >>

Всего записей: 536 | Зарегистр. 31-01-2006 | Отправлено: 00:07 22-06-2020 | Исправлено: Sauron_zombie, 00:08 22-06-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Я провожу замену средствами OE?

В общем случае - как вам удобнее. Средствами OE - это как один из возможных вариантов (Свойства проекта - Дополнительно - Обработка - Замена адресов).
В любом случае вам логичнее заменять на старые (не явные) адреса, потому что это приведет к тому, что имена файлов будут много короче. Но можно заменить и на совсем короткие - это по желанию.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 08:00 22-06-2020
konsti

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подробнее...

Всего записей: 6 | Зарегистр. 03-07-2020 | Отправлено: 11:30 03-07-2020 | Исправлено: konsti, 12:56 03-07-2020
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
konsti
 
А если не через встроенный браузер скачивать, а обычным способом загрузки?

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 13:35 03-07-2020
konsti

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А что вы имеете ввиду обычным способом закачки?. Открывать каждую страницы в ручную и ждать пока она скачается?
 
Так я не замечал...но долго не пробовал. как-то долговато и муторно...хотелось сначала всё автоматом а потом просмотреть и до сохранить  
 
и к тому же у меня была проблема с таким образом что на форуме находится фильтр сортировки сообщений по дате который я не могу переключать когда страница уже сохранилась то уже после перестановки фильтра у меня не получается её ёщё раз перезаписать. по крайне мере я не разобрался как её обновить

Всего записей: 6 | Зарегистр. 03-07-2020 | Отправлено: 14:55 03-07-2020 | Исправлено: konsti, 14:56 03-07-2020
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Свойства проекта - Use internal download code

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 15:23 03-07-2020
konsti

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ChernavinOleg
 
Спасибо за вашу помощь Олег!
 
Да я как раз через этот способ качаю "Использовать внутренний код загрузки" она у меня выбрана

Всего записей: 6 | Зарегистр. 03-07-2020 | Отправлено: 15:56 03-07-2020 | Исправлено: konsti, 15:56 03-07-2020
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А как связана ошибка браузера? Этот метод браузер не использует

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 15:59 03-07-2020
konsti

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ошибка выглядит так:
После того как загрузка прошла какое-то время (примерно час) появляется ошибка. я вижу что в нижнем поле "состояние загрузки" количество загрузки файлов и размер не прибавляется а очередь файлов которые должны быть ещё загружены быстро отнимается
я задаю в поле адреса для просмотра во встроенном браузере (там где стоит http://127.0.0.1:800/templates/start/) адрес форума и там выходит ошибка http400(res://ieframe.dll/http_400_webOC.htm#...адрес форума..) И больше я сделать ничего не могу (уже всё перепробовал что мог) форум больше через OE не доступен, только удалить проект.

Всего записей: 6 | Зарегистр. 03-07-2020 | Отправлено: 16:13 03-07-2020 | Исправлено: konsti, 17:25 03-07-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
konsti
Пробуйте качать в один поток с задержками между скачиваниями.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 22:18 04-07-2020
konsti

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey
 
Я пробовал ставить на паузу и продолжал качать, даже на следующий день, также скорость закачки и задержку между загрузками в 1 секунду менял и даже ИП Адрес. что странно после паузы программа продолжает качать но потом через какое то время (всегда по разному,непонятно от чего это зависит) опять появляется ошибка
 

Всего записей: 6 | Зарегистр. 03-07-2020 | Отправлено: 09:34 05-07-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
konsti

Цитата:
Я пробовал ставить на паузу и продолжал качать, даже на следующий день, также скорость закачки и задержку между загрузками в 1 секунду менял и даже ИП Адрес. что странно после паузы программа продолжает качать но потом через какое то время (всегда по разному,непонятно от чего это зависит) опять появляется ошибка  

Речь не о паузе в закачке, а паузах между запросами к серверу. Между каждым запросом.
Если на сервере стоит простейший скрипт (а на это все указывает с ваших слов), блокирующий частые множественные запросы с одного ip (например, запросы чаще чем 1 запрос в 5 сек с одного IP - элементарный таймер-счетчик с накоплением и автообнулением - как только плотность запросов превышает заданное число - блокировка IP или отказ в обслуживании на заданный промежуток времени и далее по циклу), то иным способом (кроме мультипрокси - нужно несколько десятков анонимных прокси, а их нелегко насобирать) это не обойти. То есть, скачивание должно быть, например, в режиме одна страница в 5 секунд (число потоков. разумеется не более одного).

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 17:31 05-07-2020 | Исправлено: Jonmey, 17:33 05-07-2020
konsti

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey
 
спасибо за разъяснение, буду пробовать и для этого понадобится мне много много времени.
 
не хочу надоедать...но мне не понятно если вы говорите про блокировку ip адреса, то почему сайт дальше доступен если я захожу через другой браузер (например хром или опера) с этим же ип адресом?  
к тому же я менял ип адрес и все равно не могу зайти через встроенный браузер offline exlorer и даже на следующий день, после того как комп был отключен и поменят ип.  лишь только после того как я удаляю проект он опять доступен  
 
Или же сервер блокирует меня по данным от браузера, хммм... такое возможно?

Всего записей: 6 | Зарегистр. 03-07-2020 | Отправлено: 23:06 05-07-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
не хочу надоедать...но мне не понятно если вы говорите про блокировку ip адреса, то почему сайт дальше доступен если я захожу через другой браузер (например хром или опера) с этим же ип адресом?

Возможно используется комплексная идентификация, учитывающая не только IP? но  и др. параметры запросов (юзер-агент и проч.)...
Второй вариант, использование сайтом особенных куков с sessionID, которые должны обновляться периодически, а этого не происходит (в OE) и происходит блокировка.
Вариантов бессчётное число. Смысл не в том чтобы вычислить каков он в данном случае, а просто найти рабочий вариант скачивания. А для этого и нужно экспериментировать, начиная с самых безопасных настроек (то есть, самого медленного скачивания), которые обеспечивают непрерывное скачивание и далее пытаться ускорять. В названном вами случае видимо нет постоянной блокировки (как имеет место быть на ряде других сайтов при попытке их тупого скачивания), что сильно облегчает вашу задачу.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 23:24 05-07-2020
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Насколько я понимаю, тут скорее глюк компонента MS IE, используемый Offline Explorer-ом. Я сейчас работаю над 8й версией, которая будет включать браузер Chromium. И соответственно, скачивать файлы через его движок, а не IE-шную библиотеку WinInet.
 
По крайней мере, существенно возрастает скорость. Надеюсь, стабильность на больших закачках тоже будет лучше.

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 16:05 06-07-2020
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53

Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » MetaProducts Offline Explorer | Offline Browser


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru