Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » GeoCacher

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

Открыть новую тему     Написать ответ в эту тему

zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
GeoCacher

Небольшой кэширующий прокси-сервер, предназначенный для эффективного он-лайн кэширования запросов GoogleEarth. Особенность запросов GE, которая заключается в объединении в одном запросе до 4-х различных файлов в произвольном порядке, не позволяла обычным кэширующим прокси-серверам (к примеру, HandyCache) что-либо отдавать из накопленного кэша. С GeoCacher-ом ситуаци кардинально противоположная: накопленный кэш эффективен на 100% - то что однажды было выкачано и попало в кэш, при повторном запросе будет отдано клиенту GE из кэша, и повторной закачки того же самого файла из интернета не будет.
 
Домашняя страница
 
Актуальное описание настроек и функций GC
 
Ссылка для загрузки: GeoCacher 2018.3 (от 26.11.2018)
 
Бета версия: GeoCacher 2020.0 Beta 2 (от 12.12.2020)
 
GeoCacher - приложение с открытыми исходниками, которые можно найти здесь (программа написана на Delphi 2007).
 
Полезные ссылки:
 
GoogleEarth.Local - версия GE способная работать с GeoCacher-ом абсолютно без интернета (даже авторизация из кэша!).

Всего записей: 1333 | Зарегистр. 14-07-2008 | Отправлено: 19:23 07-02-2009 | Исправлено: zedxxx, 22:10 12-12-2020
QQMATS

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Если у GC будет свой индексный файл, значит, как я понимаю, подразумевается процесс монтирования/размонтирования файлов dbCache.dat (внесение изменений в индекс GC). А нельзя ли использовать собственные  индексы GE (dbCache.dat.index)?
Как пример - моя организация кэшей GE:
путь к кешу GE - C:\GoogleEarth
на анлимите (спасибо службе) ждем смену версий и за несколько дней в автомате и в рукопашную сливаем в кеш GE определенный регион (путь), страясь делать это более-менее упорядоченно, практикую в каждом кеше бланковый "облет" глобуса на 8-9 слое (метров 300 уходит).
- перемещаем  папку  GoogleEarth на другой (физический) диск и переименовываем её по смыслу выходит примерно так - H:\_GE_Cash\GoogleEarth_Dominicana_182, где _182 номер версии  
- в каждой такой папке лежит одноименный файл !GoogleEarth_Dominicana.reg, который прописывает в реестре путь  к кэшу GE  именно сюда (чтоб в ручную не лазить)
- в каждой такой папке лежит сопутствующая региону инфа (KML-файлы, фотографии, ссылки на ресурсы в сети)
- таковых папок удобно делать, распределяя между друзьями с анлимитом определенные неповторяющиеся регионы
Я к тому, что при разработке GC  если предусмотреть работу прямо целиком  с папками GoogleEarth, используя насколько  возможно, их индексные файлы это может облегчить сервисные телодвижения по перегруппировке набора кешей. Актуально это прежде всего для сетей, когда один или несколько кешей могут иметь "мерцающий" доступ.
 
Про текущий GC. Окошко с сообщением о найденной новой версии не закрывается под W2000 под XP все нормально.  Еще непонятка. Не меняется путь к каталогу с тайлами. В config.ini прописываю путь, но он слетает на умолчание C:\TEMP

Всего записей: 31 | Зарегистр. 24-03-2008 | Отправлено: 09:22 28-02-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
В config.ini прописываю путь, но он слетает на умолчание C:\TEMP

Путь определяется не из config.ini а из правил в RegExpr.ini. А в config.ini - резервный путь, куда будут ложится тайлы не попавшие под сортировку в RegExpr.ini.
 

Цитата:
А нельзя ли использовать собственные  индексы GE (dbCache.dat.index)?

Можно, но быстродействие сильно уменьшится, поэтому и будет свой единый индекс в котором будет инфа о 3-х типах кэша сразу: тайловом, GE, и собственном файловом кэше.
 
Добавление GE кэша в индекс идёт со скоростью ~ 1 Гб в минуту, данная операция единоразовая для данного кэша. В индексе будет записан полный путь к конкретному кэшу GE и контрольная сумма этого кэша. При первом обращении за тайлом к этому кэшу будет выполняться проверка его доступности и корректности (проверка CRC), если кэш недоступен или в нём произошли изменения - он переходит в разряд недоступных до следующего сеанса. А при следующем сеансе будет проведена аналогичная проверка. Поэтому, проблем с "мерцающими" кэшами быть не должно, единственное, чтоб GC смог увидеть кэш GE по сети - но тут уж постораемся.
 
Это на данный момент мне так видится, может быть позже, окажется лучшим хранить распределённый индекс - по кусочку возле каждого кэша, а в начале сеанса уже из доступных кусочков формировать в памяти единый индекс - благо, что это секундное дело. Поживём - увидим.  
 
P.S. Кстати, если вы периодически подключаете к GE старые кэши - их контрольная сумма каждый раз будет изменяться. В GC будет опция - игнорировать CRC - но это на свой страх и риск. По личным наблюдениям ничего страшного быть не должно, т.к. изменяется либо только заголовок кэша, либо дописываются новые данные в конец файла (если вы вдруг вышли в инет с этим кэшем), так что по-идее всё должно быть в порядке.

Всего записей: 1333 | Зарегистр. 14-07-2008 | Отправлено: 14:23 28-02-2009 | Исправлено: zedxxx, 14:30 28-02-2009
QQMATS

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Однако, много мелких заподлючек разработчике ge понавтыкали ;(  И опять сменили версию баз на 192, забодав.  Просто катастрофически навязчивый сервис, опять качать глобус по-новой. Ведь это еще и время.
Мысль вот какая.  А не халтурят-ли на Google  отдавая старые тайлы под новыми именами? И, если да, то возможно ли  на лету сравнивать тайлы из кеша GC, скажем по размеру или CRC (гдеб, её взять) и при совпадении все-равно отдавать из кеша прежние, переименовывая в запрашиваемое имя. Короче, чтоб у GC был режим принудительного подсовывания данных из набора кешей (для тех, кто на GPRS). Чтоб только за авторизацией ходить на Googl. Чтоб кнопка была "обновлять данные" пока нажата - работает как сейчас - качая новую версию с инет и складывает в кеш. Отпущена - принудительно подсовавает старье (с фильтром из каких версий предпочтительно).  Пользователь рискует лишь тем, что создаст разношерстный кеш в  GE, о чем его можно  предупредить
И ещё вопрос. То-ли совпало, но как установил GC перестал грузиться слой  Panoramio & Wikipedia. Ну не отображаются  эти элементы хоть убей. Всё, кроме винды переустанавливал.

Всего записей: 31 | Зарегистр. 24-03-2008 | Отправлено: 19:35 02-03-2009
Nikolai2004



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
QQMATS
по размеру думаю можно, а вот по CRC - врядли

Всего записей: 1512 | Зарегистр. 07-01-2004 | Отправлено: 21:12 02-03-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
А не халтурят-ли на Google  отдавая старые тайлы под новыми именами?

Ага, лично я считаю, что с первого до ~ 10-го уровня данные вообще не нужно обновлять... континенты-то у нас ещё не так быстро меняют очертания, как гугл новые версии штампует
 

Цитата:
возможно ли  на лету сравнивать тайлы из кеша GC, скажем по размеру или CRC (гдеб, её взять)

Вот именно, где CRC-то взять, не загрузив предварительно файл? По размеру же, вполне можно попробовать, по-моему должно работать в 99%, если предварительно ввести фильтрацию по имени, зуму и т.д. Но чем больше будет кэш и чем больше будет снимков разной версии для одной и той же территории - тем больше будет "левых" совпадений.  
 

Цитата:
Чтоб только за авторизацией ходить на Googl. Чтоб кнопка была "обновлять данные" пока нажата - работает как сейчас - качая новую версию с инет и складывает в кеш. Отпущена - принудительно подсовавает старье (с фильтром из каких версий предпочтительно).

Да, что-то вроде этого, в планах имеется
 

Цитата:
То-ли совпало, но как установил GC перестал грузиться слой  Panoramio & Wikipedia

У меня Panoramio грузит нормально, а вот вики - действительно нет (это если использовать прямую связку GE - GC). Это предсказуемо, т.к. GC до нормального прокси ещё далеко... всё внимание пока что сосредоточено на 2-х url: kh.google.com и khmdb.google.com, а с остальным - как карта ляжет. Для надёги (и для кэширования снимков панорамио и проч.) рекомендую связку GE - HandyCache - GC. Да, неудобно - лишний прокси, но - хоть какой, но выход.
 
З.Ы. Возьму в команду опытного программиста, что исправит мой "огород" и поможет в развитии проекта. А в одиночку, без достаточного опыта и знаний - очень марудны процесс.    

Всего записей: 1333 | Зарегистр. 14-07-2008 | Отправлено: 22:35 02-03-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Тестовая версия GC с поддержкой чтения кэша GE налету: http://narod.ru/disk/6343143000/GeoCacher_20090305.rar.html
У GC появилась вкладка Кэш, где можно добавить папку с кэшем GE (которая может содержать подпапки).

Всего записей: 1333 | Зарегистр. 14-07-2008 | Отправлено: 13:55 05-03-2009
QQMATS

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Тест GC от 05.03.09
 
1. Импортируем  кеш GE 157 версии: найдено  более 196 тыс. тайлов (размер DAT-файла 1.2 ГБ, куча версий т.к. создавался при помощи HandyCach, сборная солянка)  
 проиндексировалось все быстро.
2. Импорт кеша 187 версии размер 2.1 ГБ. Найдено 21 тайлов в самом начале сканирования, остальное  почему-то не увидел.  
3. Импорт кеша 187 версии (ранее сохраненная копия предыдущего)
Сообщение:   /Проиндексировано 1 файла(ов) GE кэша.
Всего найдено: 413225 тайлов. Размер добавленного GE кэша: 1864,1 Мб
///Случайно нажата клавиша "Добавить" тот же кеш проиндексирован повторно с тем же результатом. Вопрос, что происходит при повторном индексировании?
4. Сообщения после добавления следующих кешей:
Information
---------------------------
Кэш GE успешно проиндексирован и добавлен в базу доступных источников кэша.
Проиндексировано 1 файла(ов) GE кэша.
Всего найдено: 7406 тайлов. Размер добавленного GE кэша: 400,03 Мб
---------------------------
OK    
---------------------------
---------------------------
Information
---------------------------
Кэш GE успешно проиндексирован и добавлен в базу доступных источников кэша.
Проиндексировано 1 файла(ов) GE кэша.
Всего найдено: 44838 тайлов. Размер добавленного GE кэша: 2000,03 Мб
---------------------------
OK    
---------------------------
---------------------------
Information
---------------------------
Кэш GE успешно проиндексирован и добавлен в базу доступных источников кэша.
Проиндексировано 1 файла(ов) GE кэша.
Всего найдено: 84381 тайлов. Размер добавленного GE кэша: 327,93 Мб
---------------------------
OK    
---------------------------
---------------------------
Information
---------------------------
Кэш GE успешно проиндексирован и добавлен в базу доступных источников кэша.
Проиндексировано 1 файла(ов) GE кэша.
Всего найдено: 26719 тайлов. Размер добавленного GE кэша: 171,64 Мб
---------------------------
OK    
---------------------------
---------------------------
Information
---------------------------
Кэш GE успешно проиндексирован и добавлен в базу доступных источников кэша.
Проиндексировано 1 файла(ов) GE кэша.
Всего найдено: 39314 тайлов. Размер добавленного GE кэша: 229,14 Мб
---------------------------
OK    
---------------------------
---------------------------
Information
---------------------------
Кэш GE успешно проиндексирован и добавлен в базу доступных источников кэша.
Проиндексировано 1 файла(ов) GE кэша.
Всего найдено: 72639 тайлов. Размер добавленного GE кэша: 362,31 Мб
---------------------------
OK    
---------------------------
 
Вызывает настороженность несоответствие размера и количества найденных тайлов.
 
Вылетает окно следующего содержания:  
The Delphi Inspiration
---------------------------
This application uses an unregistered demo version of DIFileFinder.  Unregistered versions are intended for evaluation purposes only. Their use in distributed applications is strictly prohibited.  For product and registration information please visit our Internet site:  http://www.yunqa.de
---------------------------
ОК    
С чего бы это??
 
Едем дальше. Запускаем Гугль версия Про 4.2 с Вашего сайта.
Порт в GC пришлось сменить с 8081 на 3127. Гугль запустился с третьего тыка. Кеш GE практически обнулен (около 5МБ) Полез по старым, гарантированно (и неоднократно) скачанных местах.
Ощущение прорыва уже есть;) Просто пестня, когда лезем туда, где скачивалась (на другом ПК) свежая версия.
 (193). Счет: инет/кеш   20/5
Однако, когда дошел до местности, скачанной раньше траффик побежал быстрее. Похоже это те места, которые были в "криво" проиндексированных файлах.
Пока все в кайф, рождаются мысли по упорядочению кешей, что может стать моим скромным вкладом в дело портабилизации GE.
Установил GE-5.0 - кеш у него с нуля. После  снова лезу по тем же местам. 95% траффика идет из кеша. В тех местах, где ранее дал гуглю спокойно догрузиться - все 100. Похоже проблема близка к решению
В резюме:
1. Почему не все кеши полностью обрабатываются.
2. Непонятно как "отключить" проиндексированный кеш. И что будет если его удалить/переместить
3. Непонятно, что происходит при многократном индексировании одного и того же кеша (по ошибке в моем случае)
4. Куда теперь GC девает то, что накачал, помимо прикрученных кешей.  
5. GC  как прокси мне показался несколько капризным (в сравнении с HC)
6. Хотелось бы маkенький ненавязчивый полупрозрачный мониторчик поверх окна GE.
7. Мануальчик небольшой, по путям и настройкам
8. И еще. Настройки может лучше вообще убрать в ини-файлы. Задолбался настраивать прокси через вкладки  
 
Добавлено:
Попытка отключить инет на работающем GE-5.0.
Куча запросов типа  
http://mw2.google.com/mw-earth-vectordb/places/2009_01_14/ru/02013310.kmz
Может их тоже надо кешировать? А то  GE без них, похоже  картинки не запрашивает.

Всего записей: 31 | Зарегистр. 24-03-2008 | Отправлено: 22:43 07-03-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Все кэши можно добавлять разово (если хранятся в одной общей папке), но для теста, конечно, было сделано правильно - т.к. можно увидеть статистику по каждому из добавленных кэшей. У себя я добавлял 14 кэшей за раз общим размером 4 Гига - нашлось ~320 тыс. тайлов.

Цитата:
Проиндексировано 1 файла(ов) GE кэша.  
Всего найдено: 44838 тайлов. Размер добавленного GE кэша: 2000,03 Мб

Тут 2 Гига или всё же 200 Мб? Если 200 Мб, то всё ОК, а если же 2 Гига - то где-то была ошибка - уж слишком мало найдено тайлов.
 
Примерное количество тайлов в кэше GE можно определить, разделив размер файла dbCache.dat.index (в байтах) на 32. Примерное - потому, что GE некоторые дублирующиеся/устаревшие данные может в индекс не заносить. Если полученное число сильно отличается от того, что нашёл GC - была ошибка.  

Цитата:
Вылетает окно следующего содержания:  
The Delphi Inspiration

Это случайность - слетела регистрация на компонент, подправил.

Цитата:
1. Почему не все кеши полностью обрабатываются.

Ошибки в GC.

Цитата:
2. Непонятно как "отключить" проиндексированный кеш. И что будет если его удалить/переместить

Ничего отключать не надо. Удаляйте/перемещайте наздоровье - всё будет грузится из инета.  

Цитата:
3. Непонятно, что происходит при многократном индексировании одного и того же кеша (по ошибке в моем случае)

В индекс будут занесены те же данные ещё раз. Но это ни на что, кроме размера индекска, не повлияет (кстати, какой размер индекса в итоге получился?). Ну, это пока что, а в последствии, конечно, идентичные данные (даже из разных кэшей) попадать в индекс не будут.

Цитата:
4. Куда теперь GC девает то, что накачал, помимо прикрученных кешей.

Туда же, куда и раньше, через тот же RegExpr.ini. С собственным кэшем ничего не менял.  

Цитата:
6. Хотелось бы маkенький ненавязчивый полупрозрачный мониторчик поверх окна GE.
Не получится - начинаются мерцания мониторчика. Попробуйте сделать главное окно полупрозрачным и запустите его поверх гугла - увидете. И так будет с любым полупрозрачным окном (окно гугла в 3D режиме обрабатывется видеокартой)

Цитата:
8. И еще. Настройки может лучше вообще убрать в ини-файлы. Задолбался настраивать прокси через вкладки

Так уже! Все настройки по ходу написания проги я вначале выношу в config.ini, а уже потом, по мере возможности появляются и закладки с чекбоксами и проч. Ищите внимательно - там всё есть: и порты и прокси.

Цитата:
Куча запросов типа  
http://mw2.google.com/mw-earth-vectordb/places/2009_01_14/ru/02013310.kmz  
Может их тоже надо кешировать? А то  GE без них, похоже  картинки не запрашивает.

Это какие-то внешние накладываемые слои (типа меток или панорамио, тот же обзор улиц) к снимкам поверхности Земли не относятся, в кэш GE эти данные не заносятся, и закэшировать их средствами обычных прокси (того же HC) никаких проблем не вызывает.
 
 
 
 
 
 

Всего записей: 1333 | Зарегистр. 14-07-2008 | Отправлено: 02:18 08-03-2009 | Исправлено: zedxxx, 02:19 08-03-2009
QQMATS

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Все кэши можно добавлять разово (если хранятся в одной общей папке), но для теста, конечно, было сделано правильно - т.к. можно увидеть статистику по каждому из добавленных кэшей. У себя я добавлял 14 кэшей за раз общим размером 4 Гига - нашлось ~320 тыс. тайлов.

Маловато будет! У меня с одного кеша №3 1.8гб нашлось больше 400тыс. тайлов. Явно пропускает тайлы алгоритм обработки. Причем, судя по тому, что один из моих кешей "заклинило" в самом начале (21 тайл), можно предположить некий сбой сканирования, после которого далее  индексация не идет, хотя процесс сканирования продолжается, счетчик  процентов бежит, только число найденных тайлов не растет ;(
размер GCindex.db3  после перечисленных (с повторным) сканирований составил  89Мб.
По поводу кеширования kmZ-файлов мне  кажется, стоит подумать, чтоб обходиться без дополнительных проксей. Как я понимаю, кеширование этих (и любых) файлов можно организовать внеся соответсвтующие изменения в   D:RegExpr.ini. А вот брать их GC как будет?
PS На форуме проскакивала мысль, что GE-5/0 будет генерить запросы в офф-лайне. Не заметил. Ведет себя аналогично 4-м версиям.

Всего записей: 31 | Зарегистр. 24-03-2008 | Отправлено: 09:34 08-03-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Новая версия GC: http://narod.ru/disk/6533915000/GeoCacher_RC1.rar.html:
- исправлена ошибка неполного индексирования GE кэша;
- в индексный файл теперь не попадают одинаковые тайлы (для каждого тайла расчитывается его контрольная сумма CRC, что несколько замедляет процесс индексации)
- все не-GE url-ы кэшируются и для них работают правила из RegExpr.ini
 

Всего записей: 1333 | Зарегистр. 14-07-2008 | Отправлено: 19:57 11-03-2009
QQMATS

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
H:\_GE_Cash\GoogleEarth_192_E95MKAD
---------------------------
Information
---------------------------
Кэш GE успешно проиндексирован и добавлен в базу доступных источников кэша.
Проиндексировано 1 файла(ов) GE кэша.
Всего найдено: 208646 тайлов. Размер добавленного GE кэша: 2000,03 Мб
---------------------------
OK    
---------------------------
 
H:\_GE_Cash\GoogleEarth_157
---------------------------
Information
---------------------------
Кэш GE успешно проиндексирован и добавлен в базу доступных источников кэша.
Проиндексировано 1 файла(ов) GE кэша.
Всего найдено: 197105 тайлов. Размер добавленного GE кэша: 1150 Мб
---------------------------
OK    
---------------------------
 
H:\_GE_Cash\GoogleEarth_China_174
---------------------------
Information
---------------------------
Кэш GE успешно проиндексирован и добавлен в базу доступных источников кэша.
Проиндексировано 1 файла(ов) GE кэша.
Всего найдено: 26783 тайлов. Размер добавленного GE кэша: 171,64 Мб
---------------------------
OK    
---------------------------
 
H:\_GE_Cash\GoogleEarth_Dominicana_182
---------------------------
Information
---------------------------
Кэш GE успешно проиндексирован и добавлен в базу доступных источников кэша.
Проиндексировано 1 файла(ов) GE кэша.
Всего найдено: 39322 тайлов. Размер добавленного GE кэша: 229,14 Мб
---------------------------
OK    
---------------------------
 
 
H:\_GE_Cash\GoogleEarth_193_SeaBlack
---------------------------
Information
---------------------------
Кэш GE успешно проиндексирован и добавлен в базу доступных источников кэша.
Проиндексировано 1 файла(ов) GE кэша.
Всего найдено: 84589 тайлов. Размер добавленного GE кэша: 327,93 Мб
---------------------------
OK    
---------------------------
Это примеры проиндексированных файлов. Размер GCindex.db3 - 78 Мб, меньше предыдущей версии примерно на 15-20%
При индексации, решил начать с кешей более свежих версий (учитывая  фишку со сравнением CRC тайлов)  
В результате  наблюдений за поведением связки GE-GC выяснилось, что Googl обновляет версии как бы слоями. То есть  снимки постепенно сдвигаются вверх по версиям. Новые сразу получают новый номер, старым присваиваются новые номера по одному Googl известному алгоритму, но общее правило  таково, что
при текущей 193 версии из содержимого кеша качается:
 
192 в 80-90% случаев  
187 в 50-60%
157 практически вся загружается по-новой, хотя снимки не изменились.
 
То есть однажды скачанные кеши  теряют актуальность, в моем случае  это означает, что приходится все равно пользоваться 157 версией в офф-лайне. Не только из-за траффика, но и потому, что Googl по мере расширения сервиса стал заметно халтурнее относиться к вновь публикуемым снимкам. Облака стали появляться там, где их не было и т.п.  
Вывод - нейтрализовать эту пакость может "красная кнопка" с принудительной отдачей тайлов из кеша.  
 
 
Сообщение об ошибке в процессе работы  в сети:
---------------------------
GeoCacher
---------------------------
Access violation at address 005A9148 in module 'GeoCacher.exe'. Read of address 0000004A.
---------------------------
ОК    
---------------------------
 

Всего записей: 31 | Зарегистр. 24-03-2008 | Отправлено: 22:27 11-03-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
При индексации, решил начать с кешей более свежих версий (учитывая  фишку со сравнением CRC тайлов)

Особой роли не играет - со свежих или старых кэшей начинать индексацию. Но если вы хотели, чтоб в индексе осталась инфа о тайле со свежего кэша, а не со старого, то надо было делать всё наоборот Т.к. при совпадении данных в индексе, существующая запись замещается новой.
 
И ещё, следует учитывать, что в индекс не заносятся данные по историческим снимкам, и использовать эти данные из кэшей самого GE пока что не представляется возможным.

Цитата:
То есть однажды скачанные кеши  теряют актуальность

Ни в коем разе!  У меня в старых кэшах снимки аж 37-й версии лежат, и до сих пор успешно подхватываются GC и идут из кэша.  
Принцип присвоения версий тайлам такой: версия вышележащего по уровню зума тайла будет больше либо равной максимальной версии тайлов, лежащих под ним. Под каждым тайлом лежит 4 его дочерних тайла, а в свою очередь под каждым дочерним тайлом лежит ещё 4 и т.д. Добавление снимков идёт с самых низов (с максимального уровня зума), поэтому идёт некая рябь версий от низа к самому верхнему тайлу, и иногда получается, что на неком зуме, на одном тайле нужно отобразить и старые и новые данные... вот тогда-то и поднимается версия старых данных до версии вновь добавленных.  Но старые данные идут под новыми номерами только на некоторых промежуточных уровнях зума, где произошло смешение, а вот уже детализированные зумы, близкие к предельному идут сторго под своими оригинальными версиями. Никакой халтуры нет, всё довольно хитро продумано.

Цитата:
Облака стали появляться там, где их не было и т.п.

А это говорит о том, что GE стараются поддерживать актуальность снимков, даже в ущерб их качеству. Потому и введены исторические снимки, чтоб каждый мог определить для себя что важнее: качество или актуальность, т.к. одновременно и качественные и актуальные снимки не всегда удаётся получить. ТехноМир несовершенен

Цитата:
Сообщение об ошибке в процессе работы  в сети

Хм, сообщений вообще не должно было появляться... Включите в config.ini ведение лога ошибок: LogErrors=1 и если ошибки будут повторяться, пришлите мне файлик из папки Elogs - разберёмся что к чему.
 
QQMATS, есть какие-то общие замечания по быстродействию и загрузке системы при работе GC (проц, оператива сильно нагружаюся?), и кстать, окошко с предупреждением о демке компонента вылазит?
 

Всего записей: 1333 | Зарегистр. 14-07-2008 | Отправлено: 00:55 12-03-2009
QQMATS

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
 Включите в config.ini ведение лога ошибок: LogErrors=1 и если ошибки будут повторяться, пришлите мне файлик из папки Elogs - разберёмся что к чему.

 
Больше пока не повторялось. Окошко с демкой вылезло 2 раза и больше не беспокоит, в т.ч. после перезапуска GC.
 
По быстродействию:
По ощущениям подтормаживает. Но это на новом кеше GE, там всегда тормозит.
Загрузка процессора в наиболее интенсивных режимах полета нд незнакомой местностью:
GC 30-40%
GE 40-60%
Средняя скорость соединения внизу окошка GC - 130-150 кБит/с, что несколько меньше "чистого соединеня" в 256 кБит/с (в условиях анлимита adsl на работе)
Почему-то кажется, что чистое соединение работает "мягче", что-ли. Как будто GC придает некоторое дёрганье траффику. Что косвенно подтверждается графиком скорости соединения  HC, если прикрутить к нему GC как условный прокси.  
Вид графика: пауза-треугольный пик. Если можно говорить о буфере, выравнивающем отдаваемый  траффик  применительно к прокси серверу, то это то, что было бы не лишним Или внутреннюю работу GC распределить на несколько потоков, не знаю как выразиться грамотно.

Всего записей: 31 | Зарегистр. 24-03-2008 | Отправлено: 21:09 12-03-2009
Nep



Moderator
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
шапку включил

Всего записей: 41931 | Зарегистр. 24-06-2001 | Отправлено: 00:32 13-03-2009
MaxWell



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1. При попытке добавить кэш GE нажатием соотв. кнопки вылазит ошибка "SQLite Error 1 - table GCIndex has 11 columns but 12 values were supplied" и ничего не добавляется. При последующих попытках - Access violation.
2. Иногда выскакивает окно с оповещением о демо-версии DIRegEx

Всего записей: 147 | Зарегистр. 19-03-2004 | Отправлено: 01:36 13-03-2009 | Исправлено: MaxWell, 01:44 13-03-2009
alex769

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Почему-то кажется, что чистое соединение работает "мягче", что-ли. Как будто GC придает некоторое дёрганье траффику. Что косвенно подтверждается графиком скорости соединения  HC, если прикрутить к нему GC как условный прокси.  
Вид графика: пауза-треугольный пик. Если можно говорить о буфере, выравнивающем отдаваемый  траффик  применительно к прокси серверу, то это то, что было бы не лишним Или внутреннюю работу GC распределить на несколько потоков, не знаю как выразиться грамотно.

 
чистый GE наверно индекы быстрее загружает или качает в большее число потоков

Всего записей: 68 | Зарегистр. 05-02-2007 | Отправлено: 11:23 13-03-2009 | Исправлено: alex769, 11:24 13-03-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
При попытке добавить кэш GE нажатием соотв. кнопки вылазит ошибка "SQLite Error 1 - table GCIndex has 11 columns but 12 values were supplied" и ничего не добавляется

Удалите индекс от старой версии, видимо в этом траблы, т.к. в последней версии в индекс заносится ещё и CRC - тот самый 12-й столбик.

Цитата:
Иногда выскакивает окно с оповещением о демо-версии DIRegEx

Проблема известна, поэтому пока терпим...

Цитата:
чистый GE наверно индекы быстрее загружает или качает в большее число потоков

Индексы не причём, да и потоков в GE всего 3 (не важно через прокси или нет). В GC количество потоков на закачку не ограничено, но вот поиск тайлов в индексе и загрузка их из кэша, всеми потоками выполняется по-очереди. Лично я, пауз особых не замечал, но понятно, что GC несколько снижает общую скорость.
 
Запросы GE - GC - инет я мониторю в снифере (HTTP Analyzer) и вот, что он показывает:
Время загрузки тайла (18k):
1. кэш->GC->GE - 0,234 s  
2. инет -> GE (напрямую без прокси) - 0,282 s
3. инет -> GC - 0,548 s
4. инет -> GC -> GE - 0,657 s  
Т.е. GC нужно ~0.3 s чтобы поширить в кэше, как говорится, за всё надо платить...
 
P.S. Можно попробовать распаралелить работу потоков по поиску и загрузке из кэша, но не уверен, что всё будет работать правильно.

Всего записей: 1333 | Зарегистр. 14-07-2008 | Отправлено: 13:14 13-03-2009
QQMATS

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
zedxxx: А сложно научить GC  мониторить процент использования присоединенных кешей? типа таблички: путь к файлу *.dat -  - размер (или %)  отданных тайлов. Хорошо бы ещё статистику по  отданным версиям, чтоб оценить как эффективность кешей, так и запросы Googl"a

Всего записей: 31 | Зарегистр. 24-03-2008 | Отправлено: 07:38 14-03-2009 | Исправлено: QQMATS, 18:08 14-03-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да нет, не сложно, как-нибудь и статистику добавим

Всего записей: 1333 | Зарегистр. 14-07-2008 | Отправлено: 08:44 14-03-2009
MaxWell



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Иногда посреди серфинга Земли выскакивает окно Access Violation.
В конфиге стоит SilentMode=1.
 
Факт, что Access Violation происходит в действительности возможно еще чаще, но иногда программа это скрывает, подавляя вывод сообщения об ошибке, тоже не радует...
Может, получится докопаться до причин.
 
Еще заметил проблему с подсветкой строк в мониторе. Подсветка непредсказуемо пляшет. Бывает, выделенными оказываются несколько строк. Бывает - даже не строки полностью, а части строк.

Всего записей: 147 | Зарегистр. 19-03-2004 | Отправлено: 10:42 14-03-2009 | Исправлено: MaxWell, 10:52 14-03-2009
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

Компьютерный форум Ru.Board » Компьютеры » Программы » GeoCacher


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru