Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » HTTrack Website Copier

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10

Открыть новую тему     Написать ответ в эту тему

ShigaLex



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Рекурсивная загрузка веб-сайтов; оффлайн-браузеры — общая тема по вопросу; если вы еще не определились с выбором инструмента, то вам туда.

HTTrack Website Copier

 
HTTrack — свободное приложение для рекурсивной загрузки веб-сайтов, т.е. для той задачи, которую решают Wget в режиме зеркалирования (--mirror) и проприетарные Teleport Pro и Offline Explorer.
Основной интерфейс — неинтерактивный командный, но доступно и по меньшей мере две графические оболочки: виндовый WinHTTrack и браузерный WebHTTrack.

 

| Офсайт | Википедия | Фрешмит | Ман |

 
Документация:
Httrack Users Guide by Fred Cohen — довольно длинный учебник
FAQ & Troubleshooting — официальный FAQ
HTTrack Website Copier by Leto Kauler — годная смесь FAQ'а и мануала
 
Зачатки FAQ'а:
Q: Я хочу загрузить сайт, который требует авторизации. Что делать?
A: Кинуть в текущую директорию файл cookies.txt с нужными (но лишние не помешают) куками в нетскэйповском формате, HTTrack его подхватит. У Файрфокса куки в требуемом виде можно получить, воспользовавшись расширением «Export Cookies»; у Хрома — «Cookie.txt export».
 

Смело правьте и дополняйте шапку, однако не забывайте отписываться об исправлениях и сохранять исходный вариант.

Всего записей: 18 | Зарегистр. 30-07-2007 | Отправлено: 21:34 30-07-2007 | Исправлено: Maz, 15:54 01-04-2019
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
shveicar> Я говорил о варианте аналогичному %q small query string MD5 (16 bits, 4 ascii bytes)
но видимо это не предусмотрено.
 
Не понял.
 
> Это плохо
 
Сообщите об этом автору.
 
> после загрузки из одного списка происходит удаление этого мусора, но может стоит попробовать удалять name.html.readme после загрузки каждого файла из списка.
 
Это очевидно менее эффективно.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 06:51 31-10-2015 | Исправлено: ASE_DAG, 06:53 31-10-2015
boobonick

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Кто-нибудь знает как сделать чтобы в get/post запросе не добавлялось $Version=1; и $Path=/; Само добавляется, хотя приходит ответ с get/post данными без них

Всего записей: 4 | Зарегистр. 05-12-2015 | Отправлено: 21:31 07-12-2015
Asilus

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ASE_DAG
А вы не могли бы привести свой вариант настроек для скачивания из топика с некого "усреднённого сайта" (ну скажем ixbt? ru-board))? Фильтры разобрать, скажем качать из топика только архивы или изображения в одну папку. Сколько не настраивал ничего удобоваримого не выходит ни на одном сайте. Я знаю вы через комстроку пользуетесь, ну хотя бы так попробую.

Всего записей: 598 | Зарегистр. 16-10-2007 | Отправлено: 00:08 08-12-2015 | Исправлено: Asilus, 00:10 08-12-2015
LonerDergunov



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
64-х битная версия имеет какие-то преимущества (в скорости, стабильности...) или как часто бывает "для понтов" сделана?

Всего записей: 2972 | Зарегистр. 11-07-2007 | Отправлено: 18:58 05-02-2016
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LonerDergunov> 64-битная версия имеет какие-то преимущества
 
Это не версия, это сборка для определенной процессорной архитектуры.
 
> или как часто бывает "для понтов" сделана?  
 
Шта?


----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 16:46 06-02-2016
LonerDergunov



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
это сборка для определенной процессорной архитектуры.  

ОК. Если кратная формулировка оказалась недоступной пониманию, тогда рассусолю.
Будет ли какой заметный положительный эффект при использовании "сборки HTTrack Website Copier для 64-х битной процессорной архитектуры" под 64-разрядными системами Windоws Vista / Windоws 7 / Windоws 8 / Windоws 10 на компьютерах с современными процессорами (к примеру, процессорами Intel Core i7)? Если будет положительный эффект, то в чём он будет выражаться? (учитывая, что скорость скачивания веб-сайтов в первую очередь зависит не от архитектуры процессоров, а от ширины интернет-соединения и скорости записи данных на жёские диски).
 

Цитата:
Шта?  

А вот та.
Помните рекомендацию от Microsoft?
"Так как все больше персональных компьютеров работают под управлением 64-разрядных операционных систем Windows, пользователей искушает возможность установки 64-разрядной версии Offiсe 2013...
32-разрядная версия Offiсe 2013 рекомендуется для большинства пользователей."
(кроме обработки огромных таблиц, баз данных...)
 
Эта рекомендация касается и большинства программ. Зачастую сейчас модно собирать две версии всего и вся - х32 и х64. В большинстве случаев это делается просто так, потому что все так делают, и не имеет под собой никакого практического обоснования. На 64-разрядных операционных системах скорость и качество работы обоих версий (х32 и х64) совершенно одинакова.

Всего записей: 2972 | Зарегистр. 11-07-2007 | Отправлено: 17:13 06-02-2016 | Исправлено: LonerDergunov, 18:45 06-02-2016
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LonerDergunov> не имеет под собой никакого практического обоснования
 
Какое нужно «практическое обоснование», чтобы сделать нативную сборку? Вам не кажется, что это для того, чтоб использовать сборку для deprecated архитектуры, поддерживаемой только в порядке обратной совместимости, нужно найти какую причину, а не наоборот?
 
> Помните рекомендацию от Microsoft?
 
Впервые вижу.
 
> Большинству пользователей мы рекомендуем 32-разрядную версию Office, так как она совместима с большинством других приложений, в частности, с надстройками сторонних разработчиков. ...позволяет пользователям применять существующие элементы Microsoft ActiveX и надстройки COM с 32-разрядным набором Office.
 
Проприетащинопроблемы.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 19:02 06-02-2016 | Исправлено: ASE_DAG, 19:04 06-02-2016
ohm

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
две версии всего и вся - х32 и х64. В большинстве случаев это делается просто так, потому что все так делают, и не имеет под собой никакого практического обоснования. На

Что установить_Windows 32-bit или 64-bit

Всего записей: 154 | Зарегистр. 14-11-2009 | Отправлено: 12:13 07-02-2016 | Исправлено: ohm, 12:16 07-02-2016
Smitis



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Насколько я помню, 32-х разрядные приложения выполняются на 64-х разрядной архитектуре несколько медленнее аналогичных 64-х разрядных приложений. Для большинства приложений это безразлично, субъективно человеку разницу не заметить. Ну и всякая фигня типа доступа к большим файлам, что в данном случае тоже несущественно.
 
Т.е., да, понты.
 
- У Вас есть 64-х разрядная версия?
- Да, любой разрядности по желанию клиента, заплатите в кассу!

----------
Разум когда-нибудь победит

Всего записей: 2305 | Зарегистр. 09-02-2003 | Отправлено: 21:35 07-02-2016 | Исправлено: Smitis, 21:36 07-02-2016
AnHot

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Скажите, как настроить, чтобы скачать джипеги со страницы http://www.pravoslavie.by/inf/stan_luche/144# по страницу http://www.pravoslavie.by/inf/stan_luche/350# У меня не получается. Через несколько секунд прекращает закачку, в папке несколько файлов - есть и гифы, но ни одного джипега, хотя я в фильтре выставил только *.jpg  
Да, и диапазон сайтов я не знаю, как указать, поэтому просто http://www.pravoslavie.by/inf/stan_luche/*

Всего записей: 239 | Зарегистр. 20-01-2016 | Отправлено: 19:27 16-02-2016 | Исправлено: AnHot, 21:21 16-02-2016
skrt



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Кто-нибудь может подсказать, куки в виндовой версии работают и, если да - куда класть файлик cookies.txt? Клал в папку с проектами, и в сам проект - авторизация не проходит.

Всего записей: 320 | Зарегистр. 26-01-2003 | Отправлено: 01:43 29-02-2016
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
skrt> куки в виндовой версии работают
 
Понятия не имею, но не вижу причин, почему не должны.
 
> куда класть файлик
 
В шапке же написано — в текущий каталог.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 02:58 29-02-2016
skrt



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Что такое "текущий каталог" в случае с виндой?
Проверил, на всякий, system32 и каталог пользователя по умолчанию - тоже не катит.

Всего записей: 320 | Зарегистр. 26-01-2003 | Отправлено: 10:54 29-02-2016
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
skrt> Что такое "текущий каталог" в случае с виндой?
 
Текущий каталог (current directory), также называемый рабочим каталогом (working directory), во всех известных мне случаях есть одно и то же; на уровне всех известных мне современных файловых систем обозначается точкой (.); но вот об’яснить, что же это, мне столь же сложно, как об’яснить, что есть каталог вообще.  Да и едва ли вас интересует формальное определение.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 11:48 29-02-2016 | Исправлено: ASE_DAG, 11:49 29-02-2016
skrt



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
"также называемый рабочим каталогом (working directory)"  
Тогда их два: Рабочая папка программы и рабочая папка проекта. И туда, и туда куки кидались.
Ладно, видимо винверсия с куками не дружит.

Всего записей: 320 | Зарегистр. 26-01-2003 | Отправлено: 12:56 29-02-2016
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
skrt, нет, он для каждого процесса один.  Вы уже покажите, наконец, что вы делаете — что и как приказываете.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 02:11 02-03-2016 | Исправлено: ASE_DAG, 23:43 03-03-2016
skrt



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Как-то так:
Удаляю все куки в мозиле, захожу на сайт, логинюсь, выгружаю куки с помощью Export Coocies.
Кидаю файл cookies.txt в папки: программы, проекта, sys32, папку пользователя по-умолчанию;
захожу в HTTrack, создаю проект.  
Выбираю каталог для проекта, в котором лежат куки, тип: загрузить отдельные файлы, адрес: ссылка на конкретный файл.
В доп параметрах указываю идентификатор, взятый из мозиллы, всё остальное по-умолчанию (галочка на куках стоит).
Всё. После загрузки получаю один файл в котором: "для скачивания данного файла надо войти на сайт".

Всего записей: 320 | Зарегистр. 26-01-2003 | Отправлено: 23:18 03-03-2016
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
skrt> захожу в HTTrack, создаю проект
 
А, ну это я не понимаю; ну то есть я понял, что вы пользуетесь каким-то гуем, а гуй — дело темное.  Извините.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 23:45 03-03-2016
11Sergey11

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Добрый день, подскажите пожалуйста новичку. Что-бы заработала программа мне нужно указать Proxy и порт . Где взять эти данные ? Сейчас пишет ошибку, просит проверить настройки прокси сервера. Заранее спасибо

Всего записей: 2 | Зарегистр. 02-12-2016 | Отправлено: 23:38 02-12-2016 | Исправлено: 11Sergey11, 01:12 03-12-2016
TheBarmaley



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
11Sergey11
Цитата:
нужно указать Proxy и порт . Где взять эти данные ?
в общем случае - в настройках браузера посмотреть.. )

----------
..the one of.. ··· ..sam-&-pol..

Всего записей: 12513 | Зарегистр. 07-06-2006 | Отправлено: 07:34 03-12-2016
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10

Компьютерный форум Ru.Board » Компьютеры » Программы » HTTrack Website Copier


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru