Перейти из форума на сайт.

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?
Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » youtube-dl | yt-dlp (Часть 1)

Модерирует : gyra, Maz

Maz (17-02-2024 09:09): youtube-dl | yt-dlp (Часть 2)  Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203

   

jasonliull



Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Текущая версия: 2021.12.17

youtube-dl - бесплатная консольная программа для скачивания видео с YouTube и множества других сайтов.
Сейчас проект практически не развивается, скорость скачивания с YouTube не выше 100 кБ/сек - рекомендуется использовать yt-dlp.
официальные ночные сборки
 

 
youtube-dl с фиксом скорости, не требует SSE2
youtube-dl с фиксом скорости (другой вариант)
неофициальные ночные сборки youtube-dl  
 
 
 





yt-dlp - активный форк youtube-dl, рекомендуется к использованию.
Цели проекта: добавление новых функций, исправление известных проблем. Есть различия в поведении от основного проекта.
 
ytdl-patched - пока не понятный форк yt-dlp
 
yt-dlp для Windows XP x86
форк yt-dlp, есть вариант для Windows XP x86
примеры для начинающих (англ)
некоторые шаблоны и в чем-то более детальная документация, чем на оф-сайте (англ)
 
 
Графические интерфейсы

  • MediaDownloader (2023)
  • Metube (web-UI)
  • Tartube (2023)
  • Videomass (2023)
  • Vividl (2023)
  • youtube-dl-gui (murrty, 2022)
  • youtube-dl-gui (oleksis, 2023)
  • Stacher (2023)
     
    Полезное

  • ffmpeg.exe - yt-dlp/FFmpeg-Builds
  • BAT-ник от DeZz
  • кнопки от notinthewoods
  • BAT-ник, Downloader, расширения от 351878
  • Youtube Format IDs  
     

    • Всего записей: 2529 | Зарегистр. 05-08-2012 | Отправлено: 13:44 05-03-2018 | Исправлено: Maz, 09:07 17-02-2024
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    insorg
    отбой, вроде нормально со скоростью, хз что это вчера было, версия была вроде последняя ночнушка от 10, сейчас проверил и на стабильной и на ночнухах нормально отрабатывает этот вариант
    yt-dlp --download-sections "*10:15-10:30" -f ba[ext=m4a]  
    такое чувство как будто у меня была версия старая без фиксов, и проверил сейчас ту февральскую, да, она так скачивает до 22 минут 30 секунд с такой вот обрезкой быстро, а выше уже режет скорость, а новые версии нормально, а сам тебе сказал обновить, но у себя я точно помню что обновил, прям перед тестом, скачал, закинул с заменой ночнуху последнюю, может могла скачаться старая версия? потому что у меня её уже давно на компе нет, все версии удалял и закидывал новые, сначала с ytdl-patched потом с основы релиз, а потом и ночнухи с основного репозитория, значит в ночнухе закинули старую версию, подсунули, подлецы блин
    Всего записей: 4165 | Зарегистр. 11-02-2020 | Отправлено: 19:47 11-03-2023
    insorg



    Platinum Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    greeple
    Вот потому я и не люблю туда-сюда по сто раз менять, легко запутаться - где что.  
    Но, раз новое работает - уже хорошо.
    Всего записей: 16541 | Зарегистр. 04-11-2010 | Отправлено: 19:56 11-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    нашел на этом билде такая скорость была 2023.03.10.071258 на ночнухе
     
    Добавлено:
    я же помню что новая была версия
     
    Добавлено:
    и на этом тоже 2023.03.10.075336
     
    Добавлено:
    и на этой 2023.03.10.084636
     
    Добавлено:
    и опять у меня даже на стабильной такая скорость, все которые не проверял бы, с такой скоростью, так же как вчера
     
    Добавлено:
    всё, из за того что ютуб троттлит скорость, то не может yt-dlp передать в ffmpeg быстрее чанки, так разраб написал, пофиксить сможем наверно сказал, но я так и не понял почему днем нормально скачивало с норм скоростью, а сейчас опять как и вчера с низкой скоростью
    Всего записей: 4165 | Зарегистр. 11-02-2020 | Отправлено: 19:57 11-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    как то он через раз работает, сейчас ещё раз проверил
    вот так низкая  
    yt-dlp --download-sections "*10:15-15:30" https://www.youtube.com/watch?v=_-hsYsc8dCg
    вот так нормальная
    yt-dlp --download-sections "*10:15-15:30" -f ba https://www.youtube.com/watch?v=_-hsYsc8dCg
    а вот так было не нормально, а сейчас опять норм скорость  
    yt-dlp --download-sections "*10:15-15:30" -f ba[ext=m4a] https://www.youtube.com/watch?v=_-hsYsc8dCg
    кароче когда ютуб выдает чанки по 10мб то норм, а если превышаешь то троттлит это понятно, но не понял почему пару часов назад одна и та же команда не работала, а сейчас работает, версии yt-dlp не менял команду тоже, магия вне хогвардса
    Всего записей: 4165 | Зарегистр. 11-02-2020 | Отправлено: 22:28 11-03-2023 | Исправлено: greeple, 22:29 11-03-2023
    insorg



    Platinum Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    одна и та же команда не работала, а сейчас работает
    Потому что опять ютупцы чё-то мутят.
    Не хотят, чтоб скачивали, хотят чтоб смотрели и обязательно с рекламой и не уходили, а прошлись по всяким "популярным" и "предлагаемым" (или как там оно сейчас называется...).
    Всего записей: 16541 | Зарегистр. 04-11-2010 | Отправлено: 22:36 11-03-2023
    neorion

    Full Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Кстати, я тут заглянул в логи mitm прокси. Похоже, yt-dlp всегда качает кусками по 9.7 МБ, даже если визуально (в терминале) кажется, что непрерывно. Но когда в терминале видны фрагменты, это еще какая-то большая дичь (меньше куски?).
    И вот похоже ютуб размер куска, запрашиваемый yt-dlp спалил (у браузеров, наверное, по другому) и подрезал скорость. Это в старых версиях еще.
    Всего записей: 448 | Зарегистр. 02-10-2022 | Отправлено: 23:15 11-03-2023 | Исправлено: neorion, 23:17 11-03-2023
    insorg



    Platinum Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    neorion
    Значит, куски нужно запрашивать рандомные, либо в соответствии с тем, что просит андроидовый клиент-плеер, которым сабж и прикидывается.
    Всего записей: 16541 | Зарегистр. 04-11-2010 | Отправлено: 23:22 11-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    neorion

    Цитата:
    Похоже, yt-dlp всегда качает кусками по 9.7 МБ

    прикалываешься? так это и было сделано же для фикса, yt-dlp теперь по 10мб чанки грузит, если выше, то ютуб скорость режет, вы не следите за сообщениями тут ответ вам же в котором даже ссылку дал на коммит с этим фиксом троттлинга

    Код:
     
    # Youtube throttles chunks >~10M
                        'http_chunk_size': 10485760,
                    }
                    CHUNK_SIZE = 10 << 20
                    dct.update({
                        'request_data': b'x',
     

     
    Добавлено:
    сейчас качает норм всё, кроме того когда отдаешь на обрезку в ffmpeg
    Всего записей: 4165 | Зарегистр. 11-02-2020 | Отправлено: 23:57 11-03-2023
    insorg



    Platinum Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    кроме того когда отдаешь на обрезку в ffmpeg
    А отдавать на обрезку можно при использовании внешней качалки? Или это за гранью возможностей?
    Всего записей: 16541 | Зарегистр. 04-11-2010 | Отправлено: 00:32 12-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    insorg
    так и эта качалка норм работает, просто с этим флагом косяк походу, без него качает с норм скоростью
    внешней можно наверно
     
    Добавлено:
    это же и есть внешняя качалка ffmpeg называется
    --external-downloader ffmpeg --external-downloader-args "ffmpeg_i:-ss 00:10:11 -to 00:14:25"
    Всего записей: 4165 | Зарегистр. 11-02-2020 | Отправлено: 00:35 12-03-2023
    neorion

    Full Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    greeple

    Цитата:
    так это и было сделано же для фикса

    Да у меня версия старая 2023.02.17, еще до изменений. Специально не обновляю пока.
     
    И старые и новые версии качают кусками примерно по 10 МБ (старые чуть меньше, 9.5-9.7 МБ), но изменился способ запроса.
    2023.02.17 версия в заголовке запроса пишет
    Range bytes=0-9994111 (первый кусок)
    Range bytes=9994112-13536259 (второй кусок)
    Сам файл 13 МБ.
    Сервер на оба запроса отвечает HTTP/1.1 206 Partial Content.
     
    Версия 2023.03.04 не отправляет заголовки Range. Сервер всегда возвращает HTTP/1.1 200 OK.
    В ответном запросе кусок ровно 10 МБ. Так что тоже делается потом еще несколько запросов, чтобы скачать весь файл. Но запрос Range теперь перешел из заголовков HTTP в сам URL, в него дописывается в конце &range=0-10485759 (возможно еще какие-то параметры URL изменились).
     
    У меня кстати версия 2023.02.17 качает довольно быстро (по моим скромным меркам).
    Новая версия (2023.03.04) стала писать в терминале (frag 0/2), создавать много временных файлов и показывать % загрузки неравномерно. Например, если файл 13 МБ, с 0 до 50% будет равномерно (10 МБ), потом прыгнет до 80 и с 80 до 100% будет только равномерно.
     

    Цитата:
    просто с этим флагом косяк походу

    Может не нравится user agent от ffmpeg.
     
    Добавлено:
    У новых малопопулярных видео своя извращенная логика. Почти не поменялась в старой и новой версии. Там с сервера manifest.googlevideo.com отправляется список кусков по 141 КБ (в новой версии стало 142 КБ). Так что даже маленький звук в 3.7 МБ будет иметь 27 кусков, которые по очереди запрашиваются и качаются. Естественно, этот процесс очень медленный, если ping большой. Вот почему новым малопопулярным видео не везет.
    В общем, новые версии yt-dlp всегда теперь показывают количество фрагментов в терминале.
     
    Добавлено:
    mitm прокси для исследования если что Charles (на Java). Есть на рутрекере (поиск по запросу Charles proxy). В yt-dlp тогда нужно будет дописать --proxy 127.0.0.1:8888 --no-check-certificates
    Всего записей: 448 | Зарегистр. 02-10-2022 | Отправлено: 10:07 12-03-2023 | Исправлено: neorion, 10:31 12-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    neorion

    Цитата:
    У новых малопопулярных видео своя извращенная логика. Почти не поменялась в старой и новой версии. Там с сервера manifest.googlevideo.com отправляется список кусков по 141 КБ (в новой версии стало 142 КБ). Так что даже маленький звук в 3.7 МБ будет иметь 27 кусков, которые по очереди запрашиваются и качаются. Естественно, этот процесс очень медленный, если ping большой. Вот почему новым малопопулярным видео не везет.
    В общем, новые версии yt-dlp всегда теперь показывают количество фрагментов в терминале.

    новое малопопулярное видео https://www.youtube.com/watch?v=UDPVO2e2-9Y 12мб аудио в 2 фрагмента качается, где у тебя там 37?

    Цитата:
    Может не нравится user agent от ffmpeg.

    нет, просто ffmpeg не ограничивает чанки по 10мб как yt-dlp и поэтому когда загружаешь через него ютуб троттлит скорость ему после первого чанка
    Всего записей: 4165 | Зарегистр. 11-02-2020 | Отправлено: 10:53 12-03-2023
    neorion

    Full Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    greeple

    Цитата:
    новое малопопулярное видео https://www.youtube.com/watch?v=UDPVO2e2-9Y 12мб аудио в 2 фрагмента качается, где у тебя там 37?

    У меня тоже 2. Но это не малопопулярное видео (относительно). Вы видимо смотрите только топов, а не редкие каналы. Там где редкие, даже видны значки ~ в yt-dlp. Т.е. точный размер неизвестен.
     

     
    Добавлено:
    Вот такие критерие редкости у ютуба (по данным Invidious, потому что youtube в своем интерфейсе многое скрывает)
    Редкие видео:
    134 просмотра 18 лайков
    200 просмотров 24 лайка
     
    Популярные видео:
    471 просмотров 26 лайков
    570 просмотров 55 лайков
    1200 просмотров 97 лайков (ваш пример на данный момент)
     
    Т.е. редкие это совсем совсем редкие или которые еще почти никто не посмотрел. Неудивительно, что вы с ними не встречались. В популярных каналах для того, чтобы перейти в раздел популярных наверняка достаточно нескольких минут. Но в редких каналах они могут висеть месяцами.
    Всего записей: 448 | Зарегистр. 02-10-2022 | Отправлено: 12:16 12-03-2023 | Исправлено: neorion, 12:59 12-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    neorion
    ну и что ты обвёл там? mpd манифест это ключ расшифровки
    те что ~ обозначены это справа даже видно по другому написано dash video где разрешения должны быть, это как раз зашифрованные видео, а не малопопулярные, у ютуба это на лайвстримах такое только с mpd, видео которые были прямой трансляцией
     
    а это достаточно популярный канал и видео?
    https://www.youtube.com/watch?v=Y_EVyGjK1x8  
    2 дня 58 просмотров
     
    нету никакой малопопулярности и количества чанков
    Всего записей: 4165 | Зарегистр. 11-02-2020 | Отправлено: 00:56 13-03-2023 | Исправлено: greeple, 01:02 13-03-2023
    neorion

    Full Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Какие вы упоротые ламеры. Не буду с вами спорить.



    Нарушение п. 2.4. главы VIII Соглашения по использованию
    Всего записей: 448 | Зарегистр. 02-10-2022 | Отправлено: 01:17 13-03-2023 | Исправлено: Maz, 07:26 13-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    neorion

    Цитата:
    Какие вы упоротые ламеры. Не буду с вами спорить.

    если ты не можешь понять что это у лайвстримов такая отдача, то кто из нас ламер?
    малопопулярное видео
     
    Добавлено:
    вот выдача с прямой трансляции https://www.youtube.com/watch?v=HDZgTjao0xs
    а вот с видео https://www.youtube.com/watch?v=DIYfZeBQR2c
    Всего записей: 4165 | Зарегистр. 11-02-2020 | Отправлено: 01:33 13-03-2023
    insorg



    Platinum Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    greeple
    Цитата:
    у лайвстримов такая отдача
    Прямые трансляции в принципе только "в своих форматах" бывают. Не в привычных звук отдельно и видео отдельно.
    Я так уже несколько раз удачно попадал на незакочившийся "стрим" премьеры музыкальных клипов, а потом и на лайв-стримы всяких прохождений игр (типа того же русгеймтактикс). Так так в форматах вообще было такое, что аж олдскулы свело.
    Никаких тебе vp9/av1, только чистенький незапятнанный avc+aac во всех разрешениях от 240р до 1080р, сразу со звуком вместе. Прям сказка.
    Но когда стрим/премьера кончается, то форматы сменяются на "привычные" обычные...
    Всего записей: 16541 | Зарегистр. 04-11-2010 | Отправлено: 01:40 13-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    insorg

    Цитата:
    Но когда стрим/премьера кончается, то форматы сменяются на "привычные" обычные...

    ну да, вот когда заканчиваются они с mpd в dash, то что я скинул это уже видео, когда стрим закончился, а стрим который идёт в hls https://i.imgur.com/xEOLDSZ.png  
     
    Добавлено:
    https://developers.google.com/youtube/v3/live/guides/ingestion-protocol-comparison?authuser=1
     
    стримы есть и в vp9 как раз в dash, но никто не стримит в vp9, тяжело это, да и в obs нету прямой настройки, и не заморачивается никто, запускают h264 и норм
     
    Добавлено:
    а может даже через rtmps все стримят, если там по умолчанию стоит, я давно не заходил, раньше когда запускал трансляцию ссылка была rtmp чтобы добавить в obs  
     
    Добавлено:
    но скорее всего в hls в M2TS формате
     
    Добавлено:
    ну да вон в dash стримах https://developers.google.com/youtube/v3/live/guides/encoding-with-dash?authuser=1
    инфа как раз про mpd  

    Цитата:
    Длина сегмента инициализации
    Сегмент инициализации не должен быть длиннее 100 КБ. (Как правило, сегмент инициализации намного меньше этого.) Если сегмент инициализации включен в MPD, то URL-адрес, data:содержащий этот сегмент, не должен быть длиннее 100 КБ.

    вот твои списки кусков по 100кб у "малопопулярных видео"
    Всего записей: 4165 | Зарегистр. 11-02-2020 | Отправлено: 03:13 13-03-2023
    insorg



    Platinum Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    greeple
    Цитата:
    запускают h264 и норм  
    И правильно делают.
    Цитата:
    скорее всего в hls в M2TS формате
    Скорее всего. Я точно уже не вспомню чтоб идеально, но вроде TS-подобное что-то тогда и качалось с премьеры муз клипа, пока она "шла".
    Правда, скачанное оказалось слегка кривое и без куска начала, так что пришлось потом где-то через полчаса вспомнить и скачать заново уже привычное 137+140.
    Всего записей: 16541 | Зарегистр. 04-11-2010 | Отправлено: 03:37 13-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    insorg

    Цитата:
    Правда, скачанное оказалось слегка кривое и без куска начала

    видимо вот эта команда именно для этого
    --live-from-start          Загружать прямые трансляции с самого начала.
                                     В настоящее время поддерживается только для YouTube
                                     (Экспериментальный)
     
    --no-live-from-start     (default) а так по дефолту
    Всего записей: 4165 | Зарегистр. 11-02-2020 | Отправлено: 12:35 13-03-2023
       

    Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203

    Компьютерный форум Ru.Board » Компьютеры » Программы » youtube-dl | yt-dlp (Часть 1)
    Maz (17-02-2024 09:09): youtube-dl | yt-dlp (Часть 2)


    Реклама на форуме Ru.Board.

    Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
    Modified by Ru.B0ard
    © Ru.B0ard 2000-2024

    BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

    Рейтинг.ru