Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » GeoCacher

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

Открыть новую тему     Написать ответ в эту тему

zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
GeoCacher

Небольшой кэширующий прокси-сервер, предназначенный для эффективного он-лайн кэширования запросов GoogleEarth. Особенность запросов GE, которая заключается в объединении в одном запросе до 4-х различных файлов в произвольном порядке, не позволяла обычным кэширующим прокси-серверам (к примеру, HandyCache) что-либо отдавать из накопленного кэша. С GeoCacher-ом ситуаци кардинально противоположная: накопленный кэш эффективен на 100% - то что однажды было выкачано и попало в кэш, при повторном запросе будет отдано клиенту GE из кэша, и повторной закачки того же самого файла из интернета не будет.
 
Домашняя страница
 
Актуальное описание настроек и функций GC
 
Ссылка для загрузки: GeoCacher 2018.3 (от 26.11.2018)
 
Бета версия: GeoCacher 2020.0 Beta 2 (от 12.12.2020)
 
GeoCacher - приложение с открытыми исходниками, которые можно найти здесь (программа написана на Delphi 2007).
 
Полезные ссылки:
 
GoogleEarth.Local - версия GE способная работать с GeoCacher-ом абсолютно без интернета (даже авторизация из кэша!).

Всего записей: 1345 | Зарегистр. 14-07-2008 | Отправлено: 19:23 07-02-2009 | Исправлено: zedxxx, 22:10 12-12-2020
ZergAnaliZer

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Спасибо, немного ознакомился с состоянием дел по смежным веткам. Утиль для распаковки нового формата кэша (DXT1) вы уже сделали, значит, при вашем желании и свободном времени ждать осталось недолго.  
 
Будем ждать! Больше всего надеюсь на слияние всех кэшей GE воедино. С интересом жду и обновленный CacheMaster, ибо kml из кэша GE делать лучше для GlobalMapper, чем мучаться с SAS (ecw) и его zmp к GE.
 
Кстати, сорри за оффтоп, но есть ли у вас утилька, извлекающая векторные и точечные данные из вашего распакованного кэша - в векторный KML (kmz - это растр)? Например, дороги, улицы (по 1 kml-файлу на слой)?
 
Еще легко можно из карты Гармина/Руссы сделать накладываемую векторную kml (дороги, сетка высот и т.п.) с русскими названиями точек-POI в GE. Если можно будет извлекать векторный kml из кэша GE обратно в Гармин/Руссу/Навител, это будет шикарно.  
 
Поэтому с нетерпением жду новых версий.
 
http://img844.imageshack.us/img844/7058/80622646.jpg
http://img525.imageshack.us/img525/9915/22683705.jpg
 
 

Всего записей: 156 | Зарегистр. 06-06-2003 | Отправлено: 16:33 29-07-2010 | Исправлено: ZergAnaliZer, 17:26 29-07-2010
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Кстати, сорри за оффтоп, но есть ли у вас утилька, извлекающая векторные и точечные данные из вашего распакованного кэша - в векторный KML (kmz - это растр)? Например, дороги, улицы (по 1 kml-файлу на слой)?

Такого нету пока, формат слоёв ещё полностью не вскрыт...

Всего записей: 1345 | Зарегистр. 14-07-2008 | Отправлено: 17:56 29-07-2010
KireevSasha



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Будьте добры - раскажите пошагово как это все настроить.
Измучался уже.
Нигде нет нормальной пошаговой инструкции.
 
Скачал файл GeoCacher_1_4_2_20100621.rar (md5 f6d1c79818f4d71f6620893c36f698f5) - распаковал в папку GeoCacher_1_4_2_20100621.
Отдельно с первого сообщения сего топика скачал файлы dbroot.v5.200.rar (md5 44b4b2eccd1ef4cc6796d47e9024d242) и geauth.rar (md5 eb774a5789f22c501203e5a57b1b396d).
Оба файла скопировал в папку GeoCacher_1_4_2_20100621, заодно и распаковал содержимое обоих файлов туда же в папку GeoCacher_1_4_2_20100621.
В файле C:\Windows\System32\drivers\etc\hosts добавил строку "127.0.0.1 kh.hoogle.com"
 
Запустил GeoCacher.exe и GeoGui.exe
 
GUI подключился к GeoCacher.exe, но окнно монитора пустое.
Дальше скачал и распаковал файл GoogleEarth_5.2.1.1588_LOCAL_Portable.7z (md5 67b83aecd9150501749250a2e6e4e74e).
Запустил GoogleEarth.Local.5.2.1.1588.Portable.exe и вылетают окно, что ничего не подключается и не работает.
ЧТО ДЕЛАТЬ. ПОДСКАЖИТЕ.

Всего записей: 840 | Зарегистр. 03-03-2006 | Отправлено: 16:59 19-09-2010
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Будьте добры - раскажите пошагово как это все настроить.

А настраивать то практически ничего и не надо, единственное - прописать прокси в IE и всё: запускаем кэшера, потом гугла и радуемся.  
 

Цитата:
Нигде нет нормальной пошаговой инструкции.

Ой ли? А тут: http://starmen.at.tut.by/geocacher_howto.htm читали?  
 

Цитата:
В файле C:\Windows\System32\drivers\etc\hosts добавил строку "127.0.0.1 kh.hoogle.com"

А вот это зря. Уберите иначе ничего не заработает. И никаких файликов типа dbroot и geauth копировать не надо. В том топике было общее описание, не относящееся к кэшеру.
 

Цитата:
ЧТО ДЕЛАТЬ. ПОДСКАЖИТЕ.

1. Настроить IE на прокси (см. инструкцию)
2. запустить GeoCacher
3. включить инет
4. запустить GE.Local и прокачать кэш
5. отключить инет, включить галку "Только из кэша" (в трее GC)
6. почистить родной кэш GE.Local
7. запустить GE.Local и убедиться, что всё то что мы только что прокачали, у нас доступно но уже без инета, а из кэша GC.

Всего записей: 1345 | Зарегистр. 14-07-2008 | Отправлено: 20:33 19-09-2010 | Исправлено: zedxxx, 20:35 19-09-2010
KireevSasha



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
zedxxx
Скачал GoogleEarth_5.2.1.1588_LOCAL_Portable.7z (MD5: 67b83aecd9150501749250a2e6e4e74e).
В IE прописал прокси 127.0.0.1:8081 но мне кажеться, что GoogleEarth_5.2.1.1588_LOCAL_Portable не использует прокси ни в какую.

Всего записей: 840 | Зарегистр. 03-03-2006 | Отправлено: 21:21 19-09-2010
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Значит, не там прописали. Прокси нужно прописывать в настройках соединения и в настройках сети.
Или неправильно кажется В мониторе GeoGui строчки бегут?

Всего записей: 1345 | Зарегистр. 14-07-2008 | Отправлено: 21:28 19-09-2010
leviafanovich

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
zedxxx
Может ли Ваша программа работать исключительно только с GE, ибо с ней я не могу зайти в Gmail, да и не нужно мне что бы все браузеры работали через нее.
 
Спасибо заранее за ответ.

Всего записей: 13 | Зарегистр. 20-11-2009 | Отправлено: 18:49 24-09-2010
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
да и не нужно мне что бы все браузеры работали через нее

Вы настраиваете прокси только для IE, вот он и будет работать через кэшера. А все остальные браузеры (опера, фаерфокс) имеют свои независимые настройки прокси.
Если не хотите, чтоб и IE и все проги, что берут из него настройки прокси, работали через кэшера, а GE работал, то можно попробовать извратиться: есть такая прога Proxifier которая вроде как позволяет отдельно-взятое приложение, не имеющее своих настроек прокси (это как раз наш случай) заставлять работать через прокси. Посмотрите, может что получится.

Всего записей: 1345 | Зарегистр. 14-07-2008 | Отправлено: 08:57 25-09-2010
Zoynels



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Иногда так происходит что в GE или HandyCahce несколько раз посылает повторный запрос одного и того же файла. И если его нет в Кеше, а файл большого размера, то в GE возникает новое соединение, которое начинает скачивать файл который есть в очереди повторно. Таких запросов может быть более 4.
 Как мне кажется, это происходит изза того что GeoCacher передаёт файл только после полного скачивания, а до этого GE и HC ждут, но не дожидаются ответа от GeoCacher'а и посылают повторный запрос. А GeoCacher создаёт новое соединение на скачиваение файла и таким образом практически зависает. Так как подобные запросы растут как снежный ком.
 
 Можно ли как-то это исправить самостоятельно или нужно ждать следующей версии?

Всего записей: 10 | Зарегистр. 10-01-2004 | Отправлено: 04:46 09-10-2010
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Можно ли как-то это исправить самостоятельно или нужно ждать следующей версии?

Попробуйте отключить склеенные запросы. Как результат, уменьшится размер отдельно-загружаемого тайла на запрос, соответственно должна повысится скорость обработки запроса.  
 
А вот как вообще в принципе избавиться от такой ситуации пока что не представляю,  так что не факт, что в следующей версии кэшера что-то поменяется в этом плане.

Всего записей: 1345 | Зарегистр. 14-07-2008 | Отправлено: 12:14 10-10-2010
Zoynels



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Проблемы не со склеенными запросами, по крайней мере они у меня и так отключены, а со сравнительно большими файлами. По крайней мере больше 100кб. Это чаще всего 3D слои.
 А мысль как с этим бороться у меня есть, но нужно менять в коде, а я сам в программировании не очень.
 Идея такая. Можно сделать как в HC, где два списка. То что уже загружено и то что грузится в данный момент. Так вот, как только файл загружается то он перемещается из текущей записи в закачанное, либо удаляется из истории, всё равно он либо уже передан в GUI, либо не нужен. так вот, перед добавлением в текущую очередь нужно лишь проверить качается ли уже по данному URLу файл или нет. Если не качается, то начать скачиваение, а если данный файл скачивается то также поместить в запись, но не начинать скачивание, а просто после окончания скачивания файла из инета передать данные по всем "ожидающим" соединениям.
 Но можно сделать и другим способом, по крайней мере если файл не со склеенного запроса. Просто после начала получения данных нужно передавать запросившей файл программе по небольшим частям. Таким образом показывая что файл скачивается.
 Или если это склеенный запрос, то самостоятельно сгенерировать HEAD и передать его запросившей программе без указывания размера файла, а потом запрашивается первый файл из запроса и после получения данных они постепенно передаются программе, а как только все файлы оказываются скачанными нужно сообщить что файл закачан полностью. Вот и всё.
 
 Т.е. основная проблема состоит в том, что данные передаются только после ПОЛНОГО скачивания файла, а надо передавать по мере их получения. Чтобы увидеть что у меня происходит нужно лишь как мне кажется поставить на скачивание файл побольше размером и тогда когда закончится время ожидания программа заново отправит запрос на скачивание.

Всего записей: 10 | Зарегистр. 10-01-2004 | Отправлено: 05:44 11-10-2010 | Исправлено: Zoynels, 06:00 11-10-2010
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Т.е. основная проблема состоит в том, что данные передаются только после ПОЛНОГО скачивания файла, а надо передавать по мере их получения.

Да, я понимаю. Но вот как это всё сделать... И особенно сильно доставят мороки склеенные запросы.  
 

Цитата:
 Или если это склеенный запрос, то самостоятельно сгенерировать HEAD и передать его запросившей программе без указывания размера файла

Да, но чтобы сделать правильный склеенный файл, нам надо узнать размеры всех входящих в него частей. Т.е. нам надо загружать "голову" склеенного тайла со служебной информацией, по которой мы и определим эти размеры. Затем нужно сформировать свою "голову" с учётом того, что часть тайлов мы берём из кэша и уже потом понемногу отдавать это всё клиенту. Загрузка идёт буфером по 8 кбайт, так что "голову" мы получим практически сразу же. Вопрос же правильно выполнить все эти манипуляции.  
 

Цитата:
Можно сделать как в HC, где два списка.

HC вроде передаёт данные по мере скачивания? C другой стороны, интересно как он обрабатывает скрипты - клиент так же ждёт, пока будет полностью сформировано тело или получает частями?

Всего записей: 1345 | Зарегистр. 14-07-2008 | Отправлено: 09:58 11-10-2010 | Исправлено: zedxxx, 10:08 11-10-2010
Zoynels



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
HC вроде передаёт данные по мере скачивания? C другой стороны, интересно как он обрабатывает скрипты - клиент так же ждёт, пока будет полностью сформировано тело или получает частями?

 Если я не ошибаюсь, то каждый скрипт работает по своему. По крайней мере Content Master вроде бы полностью получает весь файл и только после обработки его передаёт. Но ведь не для всех скриптов необходимо обрабатывать тело файла, многим хватает и загоолвков, и поэтому они скачиваются и передаются как всегда.

Всего записей: 10 | Зарегистр. 10-01-2004 | Отправлено: 05:29 12-10-2010
QQMATS

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всем привет. Zedxxx, я юзаю не указанную в заголовке версию GC 1.3.3.3 от 03.06.2009 любезно предоставленную Вами, после короткой переписки в личке. Доволен как слон. С моей точки зрения ей не хватало только  примочки сохранения "исправленных" ДБрутов (для удаления "склеенных" запросов) и распределенного индекса. Кроме того, путем скармливания "старых" дбрутов (заменяя их в папке ..\CachePath\!!!_TILES_CACHE_!!!\Earth\dbRoot.v5\dbRoot) можно смотреть  снимки предыдущих версий, если надо. Этот процесс тоже было бы неплохо механизировать.  
На GC 1.4 боюсь даже пробовать перейти памятуя напряг с мелкими файлами при переносе (приходится нередко). К тому же, это означает потерю актуальности уже накопленной в формате GE & GC1.3 базы снимков. Жалко терять гигабайты. Планируется ли поддержка dat-файлов GE и SQLite-база для скаченных тайлов? На мой взгляд, версия 1.3.3.3 работала в этот смысле довольно удачно, может там ничего особо менять не нужно?

Всего записей: 31 | Зарегистр. 24-03-2008 | Отправлено: 22:08 19-10-2010
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В ToDo у меня стоит задача прикручивания файлового кэша, но уже совершенно нового формата (на базе tar). От старого варианта пришлось отказаться, когда в экспериментах с быстродействием SQL я столкнулся с "затыками" при больших БД (в неск. миллионов записей).  
Что касается кэшей GE и старых файловых кэшей, то постараюсь написать распаковщик.
 
Только боюсь, что это всё будет не очень скоро.  

Всего записей: 1345 | Зарегистр. 14-07-2008 | Отправлено: 16:41 20-10-2010
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
GeoCacher 1.4.3.4
- исправлены ошибки
- добавлена функция сервера (zmp для SAS.Планета в комплекте)
 
Плюс, сегодня появился локальный клиент:
GoogleEarth 6.0.0.1735 (beta) Local: Яндекс.Народ  ReUpload.it

Всего записей: 1345 | Зарегистр. 14-07-2008 | Отправлено: 00:18 01-12-2010 | Исправлено: zedxxx, 00:19 01-12-2010
DCT

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
zedxxx
А можно ли как то файловый кэш из исторических папок переконвертировать в SAS-овский формат (GE-проекции)?

Всего записей: 784 | Зарегистр. 22-12-2005 | Отправлено: 22:50 21-12-2010
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Можно. Я на сасовском форуме выкладывал все zmp (да и в последнем релизе кэшера они в комплекте идут). Если речь про кэшера 1.3.2 и желание получить тайлы в родной проекции, то в zmp надо подправить параметр url с proj=1 на proj=3 (естественно, править надо zmp для кэшера 1.3.2). И поставить соответствующую циферку для параметра server:

Цитата:
1 - Земля; 2 - Небо; 3 - Марс; 4 - История

Всего записей: 1345 | Зарегистр. 14-07-2008 | Отправлено: 08:57 23-12-2010 | Исправлено: zedxxx, 09:13 23-12-2010
borodavolga



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Люди подсобите как работать с GC в SAS. Запускаю GC 1.4.3.4 (Win7), GE.Local (6 beta) работает с ним нормально - прошелся я в нем по интересующей мне области, проверил что из GC берет без инета. Потом запускаю SAS, включаю GE Earth (LL или меркатор) и ничего не наблюдаю в том месте. GC GUI пишет что запрос отработан с результатом 200 и 0байт. http://127.0.0.1:8081/jpegfile?db=earth&ver=0&date=0&x=... у меня дает 404 (http://127.0.0.1:8081/ тоже 404), http://localhost:8081/flatfile?server=1&proj=1&img=jpg&compress=100&inet=0&ver=0&hist=0&... тоже самое. zmp (Earth LL) был в комплекте с GC, Earth меркатор был в Sas (GoogleEarth_M.zmp). Может надо прокси убрать в настройках IE (хотя я что тока не делал, в том числе менял настройки GC). Как проверить отдает ли GC по локальным url вообще (для GE.Local я так понял он перехватывает hoogle...)? IIS вырублен (т.е. по портам не конфликтует). Бранд. выключен. Че делать?
 
Добавлено:
Мне по сути надо склеивать большие куски в Sas из кэша GC (больше 2 GB), для того чтобы потом делать в них внутреннюю тайл-индексацию и overviews (с помощью gdal). Может есть возможность склеивать из gc напрямую или перегнать из gc в обычные тайлы (в идеале в кэш sas), т. е. раскриптовать.

Всего записей: 874 | Зарегистр. 23-06-2004 | Отправлено: 11:54 09-01-2011 | Исправлено: borodavolga, 12:17 09-01-2011
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Скорее всего вы не включили в кэшере галочку "Любая версия из кэша".

Всего записей: 1345 | Зарегистр. 14-07-2008 | Отправлено: 13:48 09-01-2011
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

Компьютерный форум Ru.Board » Компьютеры » Программы » GeoCacher


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru