Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Сжатие трафика

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

Открыть новую тему     Написать ответ в эту тему

Mario2

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Как можно сделать чтобы трафик который на компьютер приходит сжимался (например, зип или гзип) и на компьютере уже разжимался?
Какие есть способы решения такой задачи?
 
Добавлено
Т.е. задача исключительно уменьшения траффика

Всего записей: 37 | Зарегистр. 24-07-2003 | Отправлено: 18:06 20-09-2004
S0ldier



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Serg_Ivanov
На форуме используется сжатие gzip'ом, похоже вся экономия заключается в кэшировании css, js и картинок...

Всего записей: 3230 | Зарегистр. 18-01-2005 | Отправлено: 20:39 14-11-2006
Serg_Ivanov



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
arsvrn
Да я обратил уже внимание, что % сжатия исходящего трафика выше и соответственно входящего очень низок и если не трудно пояснить  

Цитата:
 ру-боард отдает уже сжатые гзипом страницы.

 
 
Добавлено:
S0ldier

Цитата:
На форуме используется сжатие gzip'ом,

Спасибо. Всё стало ясно. Как я смогу узнать, где ещё  используется gzip на сайтах и форумах. Данные программ по сжатию или на страницах форумов. Хотя на странице ruboarda не указано.

Всего записей: 7280 | Зарегистр. 30-05-2006 | Отправлено: 20:53 14-11-2006
S0ldier



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Serg_Ivanov

Цитата:
Спасибо. Всё стало ясно. Как я смогу узнать, где ещё  используется gzip на сайтах и форумах. Данные программ по сжатию или на страницах форумов. Хотя на странице ruboarda не указано.

Можно в логе Proxomitron'а посмотреть.

Всего записей: 3230 | Зарегистр. 18-01-2005 | Отправлено: 21:11 14-11-2006
fnfn

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
S0ldier

Цитата:
На форуме используется сжатие gzip'ом, похоже вся экономия заключается в кэшировании css, js и картинок...

 
не нужно недооценивать размер и количество HTTP-заголовков, которые gzip не жмет...
 
я вот проверил главную страницу форума toonel (http://ru.toonel.net/index.php) - она без рекламы и гзипная. если первый раз заходишь (т.е. кеш чистый), 17% сжатие (картинки в оригинале). Т.к. картинки уже пожаты и содержимое тоже, получается что эти 17% как раз за счет заголовков. там нет js, css есть, размер 354 байт..
 
а вот если в кеше кто-то есть, тогда все намного сложнее - все зависит от броузера... вон в опере вообще можно выставить "не проверять новую версию, всегда брать из кеша"... я попробовал - сжатие сразу до 5% свалилось.
 
правда тут есть куча ньансов. вот один - напр. на PHP форумах часто показывается ICQ-статус пользователя, онлайн или офлайн, понятно что в таком случае кеш не должен работать - кого интересует вчерашний статус? вот тогда веселуха - чтобы получить статус тратится на заголовках 1766 байт, а сама картинка размером 199 байт из кеша берется..
 
а вот если в IE жамкнуть по "Обновить страницу", он столько заголовков шлет сразу, просто жуть, 17К, при том что собственно гзипнутая страничка 6К... т.е. на заголовки потратилось почти в 3(!) раза больше чем собственно на содержимое.
 
так что все не так просто с гзипом...  
 
вот если вебварпером пользоваться, тогда да, на гзипных сайтах он не поможет, бо заголовки не жмет.  
вернее, он может немного помочь, бо пытается JS и CSS тоже пожать, только толку от этого почти нет, все равно JS в кеше лежит обычно, а CSS размером очень маленькие в большинстве своем...

Всего записей: 55 | Зарегистр. 01-04-2006 | Отправлено: 02:04 15-11-2006 | Исправлено: fnfn, 07:48 15-11-2006
arsvrn

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Serg_Ivanov

Цитата:
Как я смогу узнать, где ещё  используется gzip на сайтах и форумах. Данные программ по сжатию или на страницах форумов.

Ну, а чтобы не лазить в лог Проксомитрона, можно поставить фильтр отображения наличия gzip'а.

Всего записей: 1238 | Зарегистр. 08-09-2004 | Отправлено: 10:08 15-11-2006
S0ldier



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fnfn
Но ведь в большинстве своём на форумах основной трафик кушают как раз картинки.
 

Цитата:
а вот если в IE жамкнуть по "Обновить страницу", он столько заголовков шлет сразу, просто жуть, 17К, при том что собственно гзипнутая страничка 6К... т.е. на заголовки потратилось почти в 3(!) раза больше чем собственно на содержимое.

И как он (IE) так делает?

Всего записей: 3230 | Зарегистр. 18-01-2005 | Отправлено: 22:11 15-11-2006
fnfn

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
S0ldier
 

Цитата:
 
Но ведь в большинстве своём на форумах основной трафик кушают как раз картинки.  
 

 
да не все так однозначно... если ты первый раз заходишь на форум, тогда да, картинки пожрут, аватары те же...  
а вот когда второй раз заходишь - там уже включается в работу кеш (у броузера или у кеш-прокси). и что тут начинает происходить - сказать однозначно нельзя, т.к. у броузеров/прокси свои настройки могут быть, я вот пример с оперой привел - "всегда брать из кеша".
 
в оригинале, в HTTP протоколе, заложено, что каждый ресурс в кеше когда-то "померает". броузер должен смотреть в кеш, если ресурс "протух", спросить у веб сервера, "а нет ли посвежее че-нить?", веб-сервер или ответит "нету, жри что есть", либо отдаст более свежую версию.
 
вот, скажем, твоя аватара, при обновлении странички броузер послал запрос

Цитата:
 
GET /avatars/private/S0ldier.gif HTTP/1.1
Accept: */*
Referer: http://forum.ru-board.com/topic.cgi?forum=5&topic=13033&start=240
Accept-Language: en-us
Accept-Encoding: gzip, deflate
If-Modified-Since: Tue, 01 Nov 2005 19:47:49 GMT
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FDM; .NET CLR 1.1.4322; .NET CLR 1.0.3705; .NET CLR 2.0.50727)
Host: i.ru-board.com
Connection: Keep-Alive
 

это значит что у меня в кеше твоя картинка валяется и броузер запрашивает более новую версию, указывая дату последней модификации твоей аватары.
 
сервер ответил

Цитата:
 
HTTP/1.1 304 Not Modified
Server: nginx/0.3.15
Date: Thu, 16 Nov 2006 02:37:32 GMT
Last-Modified: Tue, 01 Nov 2005 19:47:49 GMT
Connection: close
Expires: Sat, 16 Dec 2006 02:37:32 GMT
Cache-Control: max-age=2592000
 

 
значит, у него лежит такая же версия, что и у меня в кеше, говорит брать картинку из моего кеша и указывает, что 16 декабря нужно будет проверить, а не появилась ли более новая версия S0ldier.gif.
 
HTTP-запрос занял 418 байт, HTTP-ответ занял 255 байт. это только на одну картинку, на другие с этой же страницы тоже были посланы HTTP-заголовки. И эти заголовки не жмутся даже если включен gzip на сервере.
 
теперь, если я закрою IE и открою его заново и опять пойду на эту страничку, то запрос на эту картинку посылаться не будет пока
а) не случится Sat, 16 Dec 2006 02:37:32 GMT
б) я не почищу кеш у броузера
в) я не нажму "Обновить" в броузере на этой страничке.
 
теперь смотри какая фигня получается - как долго не "протухать" ресурсу указываешь не ты, а веб-мастер сервера, вплоть до того, что на какие-то ресурсы может быть выставлено "всегда протухший". это нормальная ситуация, напр. при запросе собственно этой html-странички сервер говорит "не использовать кеш"
 

Цитата:
 
Pragma: no-cache
Cache-control: no-cache, must-revalidate, no-store, post-check=0, pre-check=0
 

 
что понятно, страничка могла поменяться, кто-то мог добавить новое сообщение. короткое значение времени "жизни" обычно еще выставляют на js & css, на тот случай, если веб-програмер поменяет код. понятно что счетчики, реклама, новостные сайты, тот же ICQ-Status выставляют минимальное время жизни.
 
суть сводится к тому, что заголовки есть всегда, и это не зависит от gzip'ная страничка или нет, их может быть много, они могут быть большие (напр. из-за кукисов), они хорошо жмутся программами (ну, обычно программы их жмут, хотя встречаются и такие, которые не жмут, напр. ETraffic, TOptimizer. почему? для меня загадка, они в таком случае ничем не лучше того же вебварпер, а TOptimizer так и вообще исходящий трафик увеличивает).
 
причем чем чаще ты жамкаешь по "обновить", тем больше http-заголовков получаешь. это касается и оперы тоже, она точно также как и IE шлет кучу http-заголовков, если на "обновить" щелкнуть, хоть и выставлено "всегда брать из кеша".

Всего записей: 55 | Зарегистр. 01-04-2006 | Отправлено: 07:07 16-11-2006 | Исправлено: fnfn, 07:14 16-11-2006
C0USIN



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
fnfn
Цитата:
как долго не "протухать" ресурсу указываешь не ты, а веб-мастер сервера, вплоть до того, что на какие-то ресурсы может быть выставлено "всегда протухший". это нормальная ситуация, напр. при запросе собственно этой html-странички сервер говорит "не использовать кеш"

HandyCache исправляет эту проблему. Отменяет Pragma: no-cache.
И время жизни объектов тоже настраивается. Вплоть до полного игнорирования запросов на обновление картинок.
 

Всего записей: 2739 | Зарегистр. 18-07-2003 | Отправлено: 09:54 16-11-2006
arsvrn

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fnfn
Не знаю, как в других кеширующих прокси, но HandyCache можно (и нужно ) настроить так, что НИЧЕГО кроме кода страницы обновляться НИКОГДА не будет.

Всего записей: 1238 | Зарегистр. 08-09-2004 | Отправлено: 10:23 16-11-2006
Serg_Ivanov



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
S0ldier

Цитата:
Можно в логе Proxomitron'а посмотреть.

Переодически просматриваю.
arsvrn

Цитата:
Ну, а чтобы не лазить в лог Проксомитрона, можно поставить фильтр  отображения наличия gzip'а.

Сделаю когда пропадёт инет и тогда время для корректировки и претворения.
 В связке Opera - HandyCache - Proxomitron - Cproxy(Tonel) помоему три програмы имеют свой кэш Opera,HandyCache,Cproxy, и у  HandyCache он полнее и лучше, его удобней просматривать, тогда кэш остальных программ можно отключить и не повлияет ли это на качество работы этой связки по сжатию и экономии трафика.

Всего записей: 7280 | Зарегистр. 30-05-2006 | Отправлено: 10:53 16-11-2006
C0USIN



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Serg_Ivanov
Не стоит отключать. В Опере это выльется в то, что перестанет работать режим Только кэшированные рисунки и скорость упадет. В CProxy есть глюк, когда при отключенном кэше он заново скачивает  неизменившиеся данные даже когда его об этом не просят.

Всего записей: 2739 | Зарегистр. 18-07-2003 | Отправлено: 11:10 16-11-2006
Serg_Ivanov



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
C0USIN

Цитата:
Не стоит отключать. В Опере это выльется в то, что перестанет работать режим Только кэшированные рисунки и скорость упадет. В CProxy есть глюк, когда при отключенном кэше он заново скачивает  неизменившиеся данные даже когда его об этом не просят.

То есть должно работать кэширование во всех программах.
 
По сжатию: Эффективно ли использование  Cproxy(Tonel) при закачивании ReGet, FlashGet, DM и другими программами- rar, zip, exe? файлов и не будет ли оно - отрицательным. Или закачки этих файлов силами  Opera.

Всего записей: 7280 | Зарегистр. 30-05-2006 | Отправлено: 11:59 16-11-2006
C0USIN



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Serg_Ivanov
Закачки лучше напрямую направлять. Сжатие будет нулевое. Скорость ниже. И рискуешь получить битые файлы.

Всего записей: 2739 | Зарегистр. 18-07-2003 | Отправлено: 12:10 16-11-2006
fnfn

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
C0USIN
arsvrn
 
господа, я же четко написал
 

Цитата:
...в оригинале, в HTTP протоколе....


Цитата:
...сказать однозначно нельзя, т.к. у броузеров/прокси свои настройки могут быть...

 
насколько отступать от HTTP стандарта - дело лично каждого, нужно только понимать, что за все приходится платить, так или иначе...
 
 
Добавлено:
C0USIN

Цитата:
HandyCache исправляет эту проблему. Отменяет Pragma: no-cache.

 
и что происходит, когда ты открываешь напр. эту страничку? загружается старая копия из кеша? как ты свежую копию получаешь?

Всего записей: 55 | Зарегистр. 01-04-2006 | Отправлено: 12:34 16-11-2006
C0USIN



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
fnfn
Цитата:
 и что происходит, когда ты открываешь напр. эту страничку? загружается старая копия из кеша? как ты свежую копию получаешь?

Свежая, разумеется

Всего записей: 2739 | Зарегистр. 18-07-2003 | Отправлено: 12:43 16-11-2006
fnfn

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
arsvrn

Цитата:
Не знаю, как в других кеширующих прокси, но HandyCache можно (и нужно  ) настроить так, что НИЧЕГО кроме кода страницы обновляться НИКОГДА не будет.

 
расскажи мне, как тогда показывается тот ICQ-Status, который я в примере привел? вчерашний? а курс валют? а если вебмастер скрипт обновит?

 
как по мне, так делать нужно как броузеры делают, и как в стандарте прописано. есть в кеше - забрать из кеша. нажал "обновить" - проверить, есть ли более новая версия на сервере, если есть, то загрузить, если нет - опять же забрать из кеша.
 
вариации - никогда не обновлять картинки, с этим еще можно согласиться, с некоторыми исключениями, конечно, типа картинка, которая показывает курс валют в течении дня, напр.
 
но это лично мои предпочтения, у кого-то они наверняка другие, кто-то может менее комфортно броузить, зато больше экономить на трафике. вопрос только в соотношении этой экономии к комфорту. у меня планка ближе к последнему.
 
Добавлено:
C0USIN

Цитата:
Свежая, разумеется  

 
ну раз свежая, я не вижу смысла в
Цитата:
Отменяет Pragma: no-cache.  

что так, что эдак - http запрос на получение страницы, http ответ из заголовка + тела... те же яйца, вид сбоку...

Всего записей: 55 | Зарегистр. 01-04-2006 | Отправлено: 12:47 16-11-2006
arsvrn

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fnfn

Цитата:
расскажи мне, как тогда показывается тот ICQ-Status, который я в примере привел? вчерашний? а курс валют? а если вебмастер скрипт обновит?

Насчет ICQ я не понял - еще ни разу не встречал, чтобы аську через кеш-прокси запускали. А курс валют мне абсолютно не интересен. Бывает, что скрипт обновляют - это обычно выражается в косяках на странице. Тогда можно и ручками обновить скрипты.
Мое предпочтение в смысле просмотра страниц - только необходимая информация (в основном текст) + только необходимые для понимания картинки (их я подгружаю ручками).

Всего записей: 1238 | Зарегистр. 08-09-2004 | Отправлено: 13:25 16-11-2006 | Исправлено: arsvrn, 13:25 16-11-2006
C0USIN



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
fnfn
Цитата:
 как тогда показывается тот ICQ-Status, который я в примере привел?
Я пропустил наверное. Где пример?
Да и через Web уже давно нельзя статус посмотреть.

Цитата:
а курс валют?
Добавлю в белый список и будут всегда свежие курсы.

Цитата:
 если вебмастер скрипт обновит?
Временно отключу список Не обновлять и нажму F5.  
Скрипты редко обновляются и можно съэкономить на проверке их обновлений.

Всего записей: 2739 | Зарегистр. 18-07-2003 | Отправлено: 13:37 16-11-2006 | Исправлено: C0USIN, 13:39 16-11-2006
S0ldier



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fnfn
Ну это понятно, меня вот что интересует: есть ли разница в объеме входящего/искодящего трафика при использовании различных браузеров? По идее различаться не должно, ведь стандарт один...

Всего записей: 3230 | Зарегистр. 18-01-2005 | Отправлено: 14:57 16-11-2006
fnfn

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
S0ldier
 
незначительная может быть, хотя бы потому что оперу можно настроить "плевать на стандарты".
ну и http-заголовки у оперы чуть-чуть меньше, чем у IE.. но это уже такая мелочь ...

Всего записей: 55 | Зарегистр. 01-04-2006 | Отправлено: 21:41 16-11-2006
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

Компьютерный форум Ru.Board » Компьютеры » Программы » Сжатие трафика


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru