Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Wget

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178

Открыть новую тему     Написать ответ в эту тему

GaDiNa



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
[ UNIX Shell ] || [ Рекурсивная загрузка веб-сайтов ] — родительские ветки.
 
GNU Wget

GNU Wget — это свободная неинтерактивная утилита для скачивания файлов по HTTP, HTTPS, FTP и FTPS (и только), обладающая самым базовым функционалом загрузки одиночных файлов и рекурсивной загрузки сайтов (HTTP) и директорий (FTP).
 

| Офсайт | Википедия | Фрешмит | Опен-хаб (бывш. Охлох) | Мануал | Ман | Ман (русск., устар.) | --help (русск.) |

 
Где взять.
Под GNU — уже стоит. Под FreeBSD — есть в портах. Под [Mac] OS X — собрать ванильный.  
Под Windows есть варианты: Cygwin | GNUWin32 (учитывайте зависимости) | Wget + OpenSSL by GetGnuWin32  | by TumaGonx Zakkum (он же osspack32 и The Moluccas  |  by Jernej Simoncc (32 и 64 бит отдельные пакеты) | Wget2.
.
 
Литература.
Popkov. Параметры программы wget
В. А. Петров. Wget — насос для Интернета
 
FAQ
 
Q: Можно ли простым перебором загрузить страницы (допустим) с первой по сотую, если их адреса:  
http://example.org/index?page=1
http://example.org/index?page=2
...
http://example.org/index?page=100
A: Вэ-гет не умеет делать инкрементальный перебор, поскольку это умеет делать любая командная оболочка. На Баше это делается так:
$ wget -E "http://example.org/index?page="{1..100}
Еще раз отметьте, {1..100} — это синтаксическая конструкция Баша, а не Вэ-гета. Эквивалентной этой будет команда:
$ for i in {1..100}; do wget -E "http://example.org/index?page=$i"; done
Или для cmd.exe:
for /l %i in (1,1,100) do wget -E "http://example.org/index?page=%i"
 
Q: А как собственно сайт целиком-то загрузить?
A: $ wget -mpEk "http://example.org"
Это, наверное, самый ходовой набор ключей, но вам, может быть, более подойдут другие. Что значит каждый — легко узнать в мане.
 
Q: Я хочу загрузить с сайта, требующего авторизации. Что делать?
A: Проще всего кинуть куда-нибудь файл с нужными (но лишние не помешают) куками в нетскэйповском формате, затем воспользоваться ключом --load-cookies.
$ wget --load-cookies cookies.txt бла-бла # файл cookies.txt в текущей директории
У Файрфокса куки в требуемом виде можно получить, воспользовавшись расширениями «Export Cookies» либо «Cookie.txt»; у Хрома — «Cookie.txt export»
 
Q: Не-ASCII символы сохраняются в именах файлов как %D0%A5%D1%83%D0%B9 (или того хуже), хотя локаль юникодная.
A: Укажите ключ --restrict-file-names=nocontrol,unix или --restrict-file-names=nocontrol,windows соответственно.
Если у вас Windows и локаль не юникодная — используйте вариант от Alex_Piggy с ключом --local-filesystem-encoding=ENCODING, где ENCODING — имя кодировки локали в терминах iconv. Текущую локаль cmd.exe можно проверить при помощи команды chcp. Для русской кириллицы в Windows обычно используется CP866.
 
Q: Известно, что можно приказать Вэ-гету обновить ранее загруженный файл, если на сервере новее или иного размера (ключ --timestamping, он же -N). Можно приказать учитывать только дату, но не размер (--timestamping --ignore-length). А можно ли учитывать только размер, но не дату?
A: При помощи одного только Wget’а — нет.  Возможна обработка получаемых заголовков файла при помощи средств командной оболочки. Пример для cmd.exe.
 
Q: Можно ли приказать Вэ-гету докачать файл, но только если он не изменился.
A: Нет, нельзя. Сочетание ключей -cN (--continue --timestamping), как можно было бы предположить, нужного эффекта не даст — «докачает» даже если файл изменился — получите в итоге мусор.
 
Q: Можно ли при рекурсивной загрузке ограничится только ссылками, содержащими параметр lang=ru, т.е. грузить:
http://example.org/index?lang=ru
http://example.org/page?id=1001&lang=ru
http://example.org/file?id=60&lang=ru&format=dvi
и не грузить:
http://example.org/index?lang=en
http://example.org/about?lang=fr
и т.д.
A: Для версий < 1.14 нет такой возможности.  
Общий вид URI: <протокол>://<логин>:<пароль>@<хост>:<порт>/<путь>?<параметры>#<якорь>. Так вот ключи -I (--include-directories) и -X (--exclude-directories) относятся только к пути, но не к параметрам.
В версиях > 1.14 возможно при использовании ключей --accept-regex / --reject-regex. Пример: --reject-regex "lang=[^r][^u]"
 
Q: Можно ли средствами Вэ-гета ограничить перечень загружаемых файлов по дате модификации (новее чем, старше чем)?
A: Нет такой возможности.
 
Q: Можно ли при рекурсивной или множественной загрузке произвольно задать целевые пути и/или имена файлов на основе пути/имени по-умолчанию (применить транслитерацию, отбросить хвостовую часть) или хотя бы независимо (сгенерировать случайно или по счетчику)?
A: Нет.
 
Q: То — нельзя, это — невозможно. Почему все так плохо?
A: Потому что Вэ-гет на настоящий момент — базовая программа, предоставляющая только самый базовый функционал. Если вы уперлись в потолок ее возможностей, просто смените ее на другой инструмент. Из неинтерактивных свободных программ наиболее функциональными будут:
aria2c — для загрузки одиночных файлов по HTTP(S), FTP, бит-торренту;
httrack — для рекурсивной загрузки («зеркалирования») веб-сайтов;
lftp — для работы по FTP, FTPS, SFTP, FISH, а также с листингами, отдаваемыми по HTTP(S) (пример).
curl — для работы с одиночными файлам по HTTP(S), FTP(S) и многими другими протоколами на более низком уровне.
wput — клон wget для аплоада файлов на удаленные FTP(S) сервера.
axel — клон wget для многопоточной загрузки одиночных файлов по протоколам HTTP(S) и FTP(S). Порты для Windows: 2.4, 2.16.1
 
Разное.
GUI для Wget’а
 

Смело правьте и дополняйте шапку, однако не забывайте отписываться об исправлениях и сохранять исходный вариант под #.

Всего записей: 1551 | Зарегистр. 17-06-2003 | Отправлено: 13:39 08-11-2003 | Исправлено: anynamer, 11:40 25-12-2023
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Victor_VG
Хм... Я прошу прощения, но ни там, ни здесь речь об FTP не шла.


----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 04:59 15-01-2012
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ASE_DAG
 
Ой, прошу прощения, посмел вмешаться в раздачу истин в последней инстанции. Испаряюсь чтобы не мешать великим решать глобальные проблемы.

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")
Xeon E5 2697v2/C602/128 GB PC3-14900L/GTX 1660 Ti, Xeon E5-2697v2/C602J/128 Gb PC3-14900L/GTX 1660 Ti

Всего записей: 33134 | Зарегистр. 31-07-2002 | Отправлено: 05:56 15-01-2012
sis_terr



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Victor_VG

Цитата:
 Нужны помощники по написанию ссылок?"

да, вот надо было скачать фотографии где ссылки явно не были доступны, моего ума не хватило по быстрому использовать другие программы и методы , что мне тут предлагали, кроме Wget что б получить те ссылки и набить в  filelist.txt  
Волонтёр оказался быстрее)))

Цитата:
А что, команды типа dir/list/ls нонче не в моде?  

в данном случае вопрос не о добыче ссылок, а об укорочении файла  со ссылками
- он периодически меняестя от 20 до 400 , вот и спрашивала можно ли как то просто задать диапазон от 1 до 20....400 или указать самый большой номер и что б качал до 1го.
ASE_DAG

Цитата:
Где же сложно-то?  
 Реализация циклов — задача не Вэ-гета, а шелла

ну извините меня, я пользуюсь Wget-ом, что уже вызывает удивление у всех, даже молодых линуксоидов, на уровне пользователя, привыкла что им решаются все вот такие несложные задачи
 

Всего записей: 1301 | Зарегистр. 20-12-2007 | Отправлено: 13:17 15-01-2012
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Добрый день, sis_terr

Цитата:
а какой командой можно указать качать по списку но не писать 100 строк списка  
http://хххх/page1  
 .........  
http://хххх/page99  
а указать  - скачивать с первой по 99ю


Цитата:
тут вопрос вроде не о счётчике,  думала как то может можно упростить список.  
 Тот вопрос был решён влоб, при помощи студентки))) которая набила нужные ссылки, поэтому вылетело с моей головы, что нет простого программного решения  
 **  
в общем ясно, что пока без полного списка не обойтись  вроде ничего сложного, непонятно почему так  сложно

Прошу прощения, а можно конкретный пример? А то получается с 1 по 99, но не по списку... И что значит упростить список?
 
То, что Вы написали в первом посте в Windows XP и выше будет так:
for /l %%i in (1,1,99) do (wget http://хххх/page%%i -O page%%i.html)
Скачать страницы http://хххх/pageномер_страницы с 1  (шаг 1 ) по 99 и сохранить в pageномер_страницы.html  
 
Добавлено:

Цитата:
 
да, вот надо было скачать фотографии где ссылки явно не были доступны, моего ума не хватило по быстрому использовать другие программы и методы , что мне тут предлагали, кроме Wget что б получить те ссылки и набить в  filelist.txt  
 Волонтёр оказался быстрее)))

Опять таки, дайте пожалуйста конкретный пример и пару часов времени  
Тот вариант, который понял - Wget качается страница, на которой есть фотография, парсится sed, передается ссылка wget.
Или это та задача, где неизвестны имена?
 
Добавлено 2

Цитата:
в данном случае вопрос не о добыче ссылок, а об укорочении файла  со ссылками  
 - он периодически меняестя от 20 до 400 , вот и спрашивала можно ли как то просто задать диапазон от 1 до 20....400 или указать самый большой номер и что б качал до 1го.

for /l %%i in (400,-1,1) do (wget http://хххх/page%%i -O page%%i.html)

Всего записей: 1883 | Зарегистр. 07-08-2002 | Отправлено: 13:25 15-01-2012 | Исправлено: Alex_Piggy, 13:34 15-01-2012
sis_terr



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Alex_Piggy

Цитата:
а можно конкретный пример?

берём сайт, например nnm.ru, конкретно меня там интересуют картинки с одного закрытого дока,  
но это не меняет дела, структура одинакова
 
набиваю вот такой файл nona.txt
http://nnm.ru/page99 или 400  
........  тут еще куча строчек)))
http://nnm.ru/page11  
http://nnm.ru/page10
 
http://nnm.ru/page9
http://nnm.ru/page8
http://nnm.ru/page7
http://nnm.ru/page6
http://nnm.ru/page5
http://nnm.ru/page4
http://nnm.ru/page3
http://nnm.ru/page2
http://nnm.ru/page1
 

Цитата:
И что значит упростить список?

вот хотелось бы такой список упростить,
 до двух или одной строчек
 написать максимальную цифру и поехали качать до page1
 

Цитата:
Опять таки, дайте пожалуйста конкретный пример и пару часов времени

Ой, я чувствую что виртуальным пивом не отделаюсь))
http://www.fotoclub.info/festival/collection/preview.html?club_id=190&photo_id=1992
вот с таких страничек надо было скачать все крупноразмерные фотки
 

Всего записей: 1301 | Зарегистр. 20-12-2007 | Отправлено: 22:35 16-01-2012 | Исправлено: sis_terr, 22:39 16-01-2012
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
sis_terr
К сожалению, не понял в чем проблема...
for /l %%i in (400,-1,1) do (wget http://nnm.ru/page%%i -O page%%i.html)
Если хотите сформировать файл, то просто
for /l %%i in (400,-1,1) do (echo http://nnm.ru/page%%i >> list.txt)
 
И увы, сейчас занят и с фотоклубом придется немного обождать.
Что-товроде этого

Код:
 
set "URL=http://www.fotoclub.info/festival/collection/preview.html?club_id=190"
wget "%URL%" -O- | sed -n -e "s@.*img src=\x22\(.*jpg\).*@\1@" -e "s@size2@size1@p" | wget -B "%URL%" -x -c -i-
 

 
С авторизацией сейчас вожусь. Должно быть что-то вроде  
wget --keep-session-cookies --save-cookies cook.txt --post-data="_input_remember=true&_input_is_form_submited=set&_input_login=ЛОГИН&_input_password=ПАРОЛЬ" --referer=http://www.fotoclub.info/  http://www.fotoclub.info/user/login
но не работает...
Работает . Просто ошибки неправильного входа не выдает, а для существующего пароля/логина срабатывает
 
 
 

Всего записей: 1883 | Зарегистр. 07-08-2002 | Отправлено: 23:20 16-01-2012 | Исправлено: Alex_Piggy, 23:15 18-01-2012
sis_terr



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Alex_Piggy

Цитата:
К сожалению, не понял в чем проблема.

наверно в пробеле моих знаний   я что то не могу сообразить как правильно дописать в батфайл готовое,  
что б оно работало.  
у меня там есть такая запись
 -i F:\list.txt
как я поняла, вместо надо написать это
for /l %%i in (400,-1,1) do (wget http://nnm.ru/page%%i -O page%%i.html)  
или в list.txt вот это
for /l %%i in (400,-1,1) do (echo http://nnm.ru/page%%i  
 
Но пишет - Unsupported scheme
 

Цитата:
С авторизацией сейчас вожусь

да там и без реги доступны фотографии
 

Всего записей: 1301 | Зарегистр. 20-12-2007 | Отправлено: 00:18 20-01-2012 | Исправлено: sis_terr, 01:12 20-01-2012
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Добрый день, sis_terr
 

Цитата:
у меня там есть такая запись  
 wget -i F:\list.txt  
 как я поняла, вместо надо написать это  
 for /l %%i in (400,-1,1) do (wget http://nnm.ru/page%%i -O page%%i.html)  
 
Да, правильно. Не будет работать в Windows младше XP.  

Цитата:
или в list.txt вот это  
 for /l %%i in (400,-1,1) do (echo http://nnm.ru/page%%i      
 Но пишет - Unsupported scheme

Не совсем так. Правильно будет  

Код:
del /q list.txt
rem Удалить файл списка
for /l %%i in (400,-1,1) do (echo http://nnm.ru/page%%i >> F:\list.txt)
rem Сформировать список заново ( вывести строку "http://nnm.ru/page%%i"  
rem в файл F:\list.txt с дозаписью, при этом %%i по очереди заменяется на числа от 400 до 1)
wget -i F:\list.txt
rem Cкачать файлы из сформированного списка

 

Цитата:
да там и без реги доступны фотографии

Я разбирался как логинится при помощи Wget на этот сайт.  
Да, не знаю, нужно ли уточнять, но для скачки с fotoclub.info по приведеному мной батнику 1) нужен sed или ssed 2) Первую строку (с примером URL) можно заменить на set "URL=%1" и тогда он будет принимать адрес из командной строки.  

Всего записей: 1883 | Зарегистр. 07-08-2002 | Отправлено: 02:02 20-01-2012
sis_terr



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
о, уже работает, но как то интересно,  
html-ки скачиваются, но не в папку со своим путём, а в корневую папку внавал  
index.html.1
index.html.10
index.html.11....
а раньше он эти индексы складывал в папки под номером странички и качал с них картинки
вот примерно так
F:\nona\nnm.ru\blogs\sis-terr\bez_cenza\page400
 
счас до картинок дело не доходит
и еще в папке Wget создает вот такой файлик  
page%i.html)
 
Victor_VG, не спешим, по очереди, и так голова пухнет среди ночи))

Всего записей: 1301 | Зарегистр. 20-12-2007 | Отправлено: 02:39 20-01-2012 | Исправлено: sis_terr, 03:32 20-01-2012
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
sis_terr
 
Да это копеечная работа.Типа такого скриптика запускаемого командой ftp -n -sdown1.cmd  <url> <user> <pasword>:  
тело dopwn1.scr:

Цитата:
 open %1
  %2
  %3
  cd %1
  mls %1 <downdir>\wgetlist
  !&& wget -c -N -nd --trust-server-names --no-check-certificate --base=%1 --input-file=wgetlist&&exit
  bye

будет всё что узрел скидывать каталог откуда вызван. Значительное число серверов реализованных на Апаче обычно отдают свой публичный листинг каталогов по ftp. Так почему бы не использовать этот сервис? Просто по http я так с ходу росписи не наваяю, тут ребята на Perl/VBScript быстрее по указанной идее парсер листинга напишут. Ну, а что скрипты не возьму - тут придётся руками возится. Но этого уверен почти и не будет.

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")
Xeon E5 2697v2/C602/128 GB PC3-14900L/GTX 1660 Ti, Xeon E5-2697v2/C602J/128 Gb PC3-14900L/GTX 1660 Ti

Всего записей: 33134 | Зарегистр. 31-07-2002 | Отправлено: 02:44 20-01-2012
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
sis_terr

Цитата:
о, уже работает, но как то интересно, не создавая живого файла F:\list.txt,  
 html-ки скачиваются, но не в свою папку, а в папку где находится get и еще почему то игнорируются команды скачивания картинок с этих страниц

Прошу прощения, рассматривал как абстрактный пример и не посмотрел на сайт вживую. Правильная команда для nnm.ru будет выглядеть примерно так:
wget -p -x -P F:\nnm.ru -H -D nnm.ru -i f:\list.txt)
(wget -p -x -P F:\nnm.ru -H -D nnm.ru  - скачать с изображениями, с сохранением структуры сайта, в папку F:\nnm.ru, разрешено скачивание со всех сайтов, с домена nnm.ru). Можно добавить еще "-kK" для конвертации ссылок в html с сохранением исходников.
 
Исправлено перед отправкой

Цитата:
о, уже работает, но как то интересно, пока не удаляет старый list.txt, ищу свой косяк)

Увы, косяк не Ваш а мой...  
del /q f:\list.txt
 
Victor_VG

Цитата:
Значительное число серверов реализованных на Апаче обычно отдают свой публичный листинг каталогов по ftp.

Очень интересно. Не знал, что так можно. Спасибо за информацию.

Всего записей: 1883 | Зарегистр. 07-08-2002 | Отправлено: 03:21 20-01-2012
sis_terr



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Alex_Piggy, ой, я ж удалила тот камент)))) поставила там многоточие
счас еще тут напишу результаты
 
давайте я поконкретнее , вот мой рабочий батник  
 

Код:
rd F:\nona\nnm.ru /s /q
wget -e robots=off    --keep-session-cookies --save-cookies COOKIE.TXT --post-data "login=sis-terr&password=****" "http://nnm.ru/login/" -O -  
wget --load-cookies COOKIE.TXT  -c -H -p --exclude-domains mc.yandex.ru,www.youtube.com,ava.nnm.ru,obs.nnm2.ru,video.rutube.ru,u975.32.spylog.com,top100-images.rambler.ru,top100.rambler.ru,top3.mail.ru,top.mail.ru,rutube.ru,js.smi2.ru,counter.rambler.ru,adservr.net,c.nnm.ru,j.nnm.ru -D img**.nnm.ru,nnm.ru -i F:\nona\nona.txt   -P F:\nona  

 
index.html-ки складывались в папки по примерно таким путям
F:\nona\nnm.ru\page400
картинки там получались по дикому пути в 6 вложений в таких папках
F:\nona\img11.nnm.ru
F:\nona\img12.nnm.ru
F:\nona\img15.nnm.ru
 
вот к этому батнику и надо правильно прикрутить новые команды работы со списком,
остальное всё работает как мне надо )

Всего записей: 1301 | Зарегистр. 20-12-2007 | Отправлено: 03:26 20-01-2012 | Исправлено: sis_terr, 04:06 20-01-2012
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
sis_terr
Мда, задачка...  
1. На странице логина каптча. Если у Вас действительно получается ее преодолеть и войти так,как Вы входите, то это чудо. лучше через экспорт cookies (и не факт, что поможет).
2. В списке --exclude-domains не обязательно указывать те сайты, которые не попадают под -D (--include-domains).
Результат - (проверял без буквы диска, затем подобавлял f:\)  

Код:
 
rd f:\nona\nnm.ru /s /q
del /q f:\nona\nona.txt
 
for /l %%i in (400,-1,1) do (echo http://nnm.ru/page%%i >> f:\nona\nona.txt)  
 
wget -e robots=off    --keep-session-cookies --save-cookies f:\nona\COOKIE.TXT --post-data "login=sis-terr&password=****" "http://nnm.ru/login/" -O - >nul
wget --cut-dirs=10 --load-cookies f:\nona\COOKIE.TXT -c -H -p --exclude-domains ava.nnm.ru,c.nnm.ru,j.nnm.ru -D nnm.ru -i f:\nona\nona.txt   -P f:\nona
 

"--cut-dirs=10" - ломает структуру сайта, но зато картинки будут без жутких вложений (вся информация с сайта будет сохранятся в папке под именем сайта). Посмотрите, как Вам лучше. Опять таки, можно добавить "-Ek"  
 

Цитата:
ну вроде как то работает, но с приколом, не создает папки с index.html-ками,  
 вообще вроде он их содержит виртуально

Он использует html файлы, которые сохраняет под именами page1...page400. Можно их сохранить с расширением html (-E).  

Всего записей: 1883 | Зарегистр. 07-08-2002 | Отправлено: 04:06 20-01-2012 | Исправлено: Alex_Piggy, 04:09 20-01-2012
sis_terr



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
ну вот с утра на свежую голову все работает правильно с исправленным батником
 
Добавлено:
 
я впихивала обе строчки, почему то поняла что они все нужны
for /l %%i in (400,-1,1) do (wget http://nnm.ru/page%%i -O page%%i.html)  
и
 for /l %%i in (400,-1,1) do (echo http://nnm.ru/page%%i      
 
1. логинится нормально, эту часть тут мне камрады помогли настроить    
оставила, как было
2. как то раньше не получалось лишнее отсечь одной командой, поэтому такой заворот,  
тоже пока оставила как было
 
Ещё, пожалуйста , прошу разжевать
 
непонятно, какая разница в указании пути удаления файла  f:\ и F:\
при создании файла работает большая буква
 
что за команда >>

Всего записей: 1301 | Зарегистр. 20-12-2007 | Отправлено: 12:42 20-01-2012 | Исправлено: sis_terr, 16:19 20-01-2012
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Добрый день, sis_terr

Цитата:
ну вот с утра на свежую голову все работает правильно с исправленным батником  

Отлично!

Цитата:
я впихивала обе строчки, почему то поняла что они все нужны  
for /l %%i in (400,-1,1) do (wget http://nnm.ru/page%%i -O page%%i.html)  
for /l %%i in (400,-1,1) do (echo http://nnm.ru/page%%i  

Нет, это два варианта.  
"for /l %%i in (400,-1,1) do" - счетчик (достаточно подробное описание в родной документации - наберите в командной строке "for /?"), который выполняет выражение, идущее после do (в скобках, но они не обязательны).  
В первом случае - это сразу закачка файлов (просто пример команды, как оказалось, совершенно Вам не подходящий), во втором ( в котором почему-то у Вас постоянно теряется ">> list.txt") - вывод строк в файл.

Цитата:
непонятно, какая разница в указании пути удаления файла  f:\ и F:\  
что за команда >>

вообще-то разницы никакой... значит я неправильно понял. Не знаю, из-за чего не удалялось.
">" и ">>" - перенаправить вывод команды (в данном случае текст, указанный после команды echo) в файл (или устройство. nul - не выводить данные). Разница в том, что ">" переписывает каждый раз файл результата, а ">>" - дописывает в его конец. Из-за того,что дозаписывает и приходится перед циклом удалять файл (иначе будут повторы)
"|" - перенаправить вывод команды как исходные данные следующей команде.

Цитата:
1. логинится нормально, эту часть тут мне камрады помогли настроить оставила, как было  
2. как то раньше не получалось лишнее отсечь одной командой, поэтому такой заворот, тоже пока оставила как было

1. Чудеса среди нас . Работает и замечательно. Но зачем тогда там каптча, вот в чем вопрос? Получается, что она декоративная или не правильно настроенная? И я ж вроде ничего не менял...
2. Не могу сказать точно. Тоже когда-то были проблемы с --include-dirs --exclude-dirs, но уже не помню после чего ушли. То-ли кавычки нужно было поставить, то ли Wget обновить...  
А "--cut-dirs" Вы пробовали?

Всего записей: 1883 | Зарегистр. 07-08-2002 | Отправлено: 15:54 20-01-2012
sis_terr



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Нет, это два варианта.  

мда, я это не поняла
За ликбез благодарю )

Цитата:
Не знаю, из-за чего не удалялось.

ну я могла накосячить со строками, наверно неправильно перенос сделала,  
тут мне как то объясняли правильный перенос, что то подзабыла, надо урок повторить

Цитата:
 Чудеса среди нас . Работает и замечательно

ага - основной принцип - работает - не трожь )))
Хотя возможно там даже без реги счас качать будет, вечно что то меняет новая администрация

Цитата:
А "--cut-dirs" Вы пробовали?

нет, уже было скачено уйма фоток, что б небыло повторов я пока это не трогала,
через несколько дней обязательно попробую на новой закачке,
мне тоже не нравится такие прятки
 
можно на ты, а то меня эт напрягает))

----------
жительница мульки

Всего записей: 1301 | Зарегистр. 20-12-2007 | Отправлено: 16:28 20-01-2012 | Исправлено: sis_terr, 16:31 20-01-2012
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
sis_terr
 
Есть разница, и огромная, и она мне сразу говорит, что там стоит UNIX или LINUX сервер, а эти системы чувствительны к регистру букв. Напишите например команду архиватору tar в виде  tar -сjf и тар создаст Вам архив .tar.bz2, а напишите tar -cJf  и получите уже иной формат архива - tar.lzma. Видите, мы поменяли только регистр буквы и поведение UNIX утилиты изменилось. Именно потом, я и понял что там скорее всего UNIX-сервер стоит - Windows системы на регистр букв ключей командной строки обычно не смотрят - у них иная система команд, чем у UNIX систем где каждая буква обозначает команду и допустимо их писать слитно, без разделителей как я Вам привёл в примере с архиватором tar строчкой выше, вот вам ещё один пример - команда ls - отвечает за вывод листинга каталога. И для неё например ключ R означает рекурсию при обходе каталогов, а r предписывает утилите выводить листинг используя обратную алфавитную сортировку файлов и каталогов. Хотя вроде буква одна и та же.

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")
Xeon E5 2697v2/C602/128 GB PC3-14900L/GTX 1660 Ti, Xeon E5-2697v2/C602J/128 Gb PC3-14900L/GTX 1660 Ti

Всего записей: 33134 | Зарегистр. 31-07-2002 | Отправлено: 00:12 21-01-2012
sis_terr



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Victor_VG, оно то всё понятно, немного имею понятия о регистрозависимости
UNIX систем, но вопрос был о пути на моём компе, в доску виндузятном    

Всего записей: 1301 | Зарегистр. 20-12-2007 | Отправлено: 02:28 21-01-2012
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
sis_terr
 
CygWin, 4NT/Tacke Command, Msys и ряд других приложений прекрасно различают регистр букв и команд, и насколько я помню в системе есть такая настройка в глубинах Реестра, но эта функция не документирована - "В отладочных целях".. Может как раз она и активирована?

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")
Xeon E5 2697v2/C602/128 GB PC3-14900L/GTX 1660 Ti, Xeon E5-2697v2/C602J/128 Gb PC3-14900L/GTX 1660 Ti

Всего записей: 33134 | Зарегистр. 31-07-2002 | Отправлено: 03:23 21-01-2012
sis_terr



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Victor_VG, в моей винде очень много хитрых настроек реестра, но не помню что б какая то влияла на регистр в батнике,  
можно подсказать, о какой идёт речь?

Всего записей: 1301 | Зарегистр. 20-12-2007 | Отправлено: 15:52 21-01-2012 | Исправлено: sis_terr, 15:57 21-01-2012
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178

Компьютерный форум Ru.Board » Компьютеры » Программы » Wget


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru