Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » SatMap (часть 3)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59

Открыть новую тему     Написать ответ в эту тему

Widok



Moderator-Следопыт
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Предыдущие части темы

 
SatMap
просмотр, скачивание, кэширование, склейка и привязка спутниковых снимков/гибрида/карт/ландшафта с сервиса Google Maps.

 
FAQ
Настоятельно рекомендуется ознакомиться как опытным пользователям, так и всем новичкам.

 
Текущая версия 2.9.0 (multilingual):
История версий
полный комплект v2.9.0 (3 Mb)
v2.9.0 (только exe) (1.5 Mb)
SatMap API
 
* - архивы в формате 7-zip
 


Кэши скачанных районов
 


 
Официальный сайт http://satmap.narod.ru

 
Основные функции и возможности (на данный момент):
1. Импорт данных из кэша GoogleMV (версии 2.7+), SatMap, SASPlanet, Global Mapper
2. Формат кэша: 1 кэш = 1 файл
3. До 100 подключаемых кэшей
4. Экспорт в кэш формата GoogleMV, SatMap, SASPLanet, sqlitedb (RMaps, Locus Map, OruxMaps)
5. Поиск, сохранение и переход по введенным координатам/названию места
6. Импорт/экспорт путевых точек и треков в форматах OziExplorer (*.wpt, *.plt), *.gpx, *.kml
7. Измерение расстояния
8. Склейка/экспорт данных в графические форматы JPG, PNG, TIFF, ECW, JPEG2000, MrSID
9. Геопривязка в форматах Ozi Explorer, MapInfo, world-файл, TomTom overlay
10. Закачивание данных с сервиса Google Maps без бана
11. Показ высоты по данным SRTM
12. API для управления SatMap
13. Навигационный режим работы с GPS-приемником
14. Работа с базой данных географических названий объектов GNS
15. Пользовательские инструменты
16. Закачка тайлов только по треку (выбираемая ширина коридора в метрах или тайлах)
 
Планируется:
1. Работа с форматом kmz
2. Возможность скачивать данные с других сервисов
3. и многое другое......
 
Программа распространяется бесплатно. Используйте ее на свой страх и риск.
 
Помочь проекту
WebMoney:
R185452921094
Z336558313529
Яндекс.Деньги:
4100166097013

Всего записей: 24190 | Зарегистр. 07-04-2002 | Отправлено: 11:57 02-08-2010 | Исправлено: relictus, 13:35 09-01-2018
karst

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Так это и логично.
Я несколько лет искал планшет под виндой с встроенным GPS и в конце концов купил планшет Asus на мерзком Андроиде. Win 95 по сравнению с Андроидом кажется супер современной осью.
SatMap в этой ситуации можно использовать только на этапе закачки/подготовки карт и кмл да и то с геморройным экспортом - ну, об этом ты знаешь

Всего записей: 297 | Зарегистр. 05-07-2008 | Отправлено: 21:59 25-10-2017
relictus

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
karst
Личку глянь, добавил там кое-что...

Всего записей: 3570 | Зарегистр. 19-04-2005 | Отправлено: 08:32 26-10-2017
karst

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Привет
Сложно сделать, чтобы при открытии каждого окошка в качалке, автоматически создавался и прописывался кэш, как в "большой" программе? В качестве имени можно использовать номер окошка.
Если не очень сложно, сделай пожалуйста. А то уж больно геморроен сейчас процесс при большом количестве потоков.

Всего записей: 297 | Зарегистр. 05-07-2008 | Отправлено: 20:12 12-11-2017 | Исправлено: karst, 20:13 12-11-2017
relictus

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Кэш и так автоматически создается - ты выбираешь только его имя и путь расположения, разве это так сложно? Я, например, создаю их на разных дисках и мне подобная "автоматизация" не нужна
Сделать что хочешь, конечно, не сложно, но только через задание исходного пути в ini, т.к. не хочу вводить настройки еще для каждого окна закачки.

Всего записей: 3570 | Зарегистр. 19-04-2005 | Отправлено: 20:46 12-11-2017
karst

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
relictus

Цитата:
Сделать что хочешь, конечно, не сложно, но только через задание исходного пути в ini, т.к. не хочу вводить настройки еще для каждого окна закачки.

 
Тоже подойдет. Главное, чтобы названия файлов кэшей генерировались всегда одинаковыми. Чтобы один раз вбить их в отдельную нормальную SatMap, и дальше экспортировать в интегральный кэш на полуавтомате.

Всего записей: 297 | Зарегистр. 05-07-2008 | Отправлено: 18:40 13-11-2017
relictus

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
karst
Постараюсь на днях сделать. Ты хоть отпишись как утилитка-то работает? А то я только на спутнике тестировал ее... Сколько максимально потоков запускал, как скорость и т.п.

Всего записей: 3570 | Зарегистр. 19-04-2005 | Отправлено: 20:59 13-11-2017
nemo3001

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
relictus
Может быть и мне эту утилиту вышлешь, если она пока недоступна для свободной загрузки?
Пользуясь постоянно программой Satmap, добавляю к ней иногда разные мелкие удобства - наращиваю понемногу свой сборник модулей SatmapUtil.  
Например, иногда бывает нужно, имея большой полезный кэш для какой-то местности (разные выделения на разных уровнях, закачивался несколькими потоками из-за большого количества тайлов и т.д), просто обновить его на новые версии тайлов - получить свежую карту местности.  
Но так как текстовые файлы, по которым загружался кэш, конечно уже отсутствуют, то я сделал модуль для создания списков загрузки (с разделением списка на части заданного размера) для всех тайлов указанного кэша с новыми версиями для загрузки слоев (просто считываю их из указанного свежего файла satmap.xml). В общем, получился удобный модуль Кэш->Список загрузки.
Может быть и в будущих версиях Satmap (а они, надеюсь еще будут появляться ) появится возможность, открыв кэш с данными, просто обновить его на новые версии тайлов и составить для этого списки для загрузки обновленных тайлов?  
А то сейчас, кажется, в программе все загрузки и составление списков для загрузки привязаны к выделению - прямоугольному или произвольному, или к загруженному треку, а использовать в качестве источника для создания списка тайлов не выделение или трек, а просто готовый кэш, нельзя.

Всего записей: 212 | Зарегистр. 06-05-2010 | Отправлено: 11:00 14-11-2017 | Исправлено: nemo3001, 11:19 14-11-2017
relictus

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Новая версия для тестирования SatMapMultiDownloader: https://yadi.sk/d/0fRtQuO63PgEsU (пароль от архива вышлю в личку)
 
Что нового:
- в архиве две версии для х32 и х64 систем;
- для спутника введена гугловская reCaptcha 2.0;
- добавлены пара параметров для config.ini;
 
Рядом с прогой можно создать файлик config.ini с подобным содержанием:  

Код:
[Params]
PragmaCacheSize=2000
PragmaJournalMode=MEMORY
InsertCountBeforeCommit=100
ReconnectAfter=10
NumberOfTriesToReconnect=10
AutoCreateCache=1
FolderForCache=d:\

 
Работает и без него, со следующими дефолтными параметрами:
PragmaCacheSize = 2000 // PRAGMA cache_size
PragmaJournalMode = 'DELETE' // PRAGMA journal_mode // DELETE | TRUNCATE | PERSIST | MEMORY | WAL | OFF; // задать тип журнала
InsertCountBeforeCommit = 100 // COMMIT transaction после N вставок в БД
ReconnectAfter = 10 // При потере соединения, реконнект после (сек)
NumberOfTriesToReconnect = 10 // попыток реконнекта  
AutoCreateCache = 0 // 1 = автоматически создавать кэши с именами вида 'task_1' в папке, заданной FolderForCache
FolderForCache =   // папка, где будут находиться автоматически созданные кэши
 
Справку по первым двум параметрам можно почитать тут: http://www.w3ii.com/ru/sqlite/sqlite_pragma.html
 
От тестеров хочу увидеть отчеты
Использование  версии х64 на win64 предпочтительнее при наличии ОЗУ более 4 ГБ.
Рекаптчу может потребоваться вводить несколько раз подряд, гугл - маньяк!

Всего записей: 3570 | Зарегистр. 19-04-2005 | Отправлено: 11:56 14-11-2017
nemo3001

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
relictus

Цитата:
От тестеров хочу увидеть отчеты  

Ну что же, сам попросил
Поставил на загрузку 11 файлов smdl (как раз пришла пора обновить один старый кэш на новые версии снимков).
Использую SatMapMultiDownloader.64.exe, пока положил в 2 папки - соответственно по 6 и 5 файлов в каждой одновременных загрузок, посмотрим, как пойдет загрузка, когда пойдут капчи и тд.
 
Пока есть несколько замечаний по ходу дела:
1) так как программа предполагает групповую загрузку, а значит последовательную групповую установку параметров каждой загрузки, то удобно было бы при создании очередной задачи (при нажатии на знак +, а кстати - не сделать ли для этой кнопки и клавиатурный аналог - "Ins" или "+", например, а "Enter" для начала загрузки) использовать значения, введенные для предыдущей задачи.
Детальнее:
- повторить от предыдущей задачи в этом сеансе работы установку "save to cache information about...", ведь скорее всего пользователь будет использовать и дальше установленное ранее значение, а не понравится ему - снимет или поставит отметку
- повторить от предыдущей задачи в этом сеансе работы значения полей "Satmap download list file" и  "Satmap cache file", автоматически добавив к ним порядковый номер. Например, изменить значения в этих полях с xxx_001.smdl на xxx_002.smdl, и с xxx_001.cache на xxx_002.cache, где xxx - это любые символы в начале строки (путь, имя и тд).  
То есть, в общем случае тогда добавить загрузки было бы легко: настраиваешь первую задачу, а потом просто наживаешь  на клавиатуре "+" и Enter, или мышкой кнопки "+" и "Start" столько раз, сколько нужно загрузить файлов, и все - работа пошла.
 
2) когда загрузка уже запущена, хорошо бы иметь для каждой задачи кроме кнопки "Cancel" еще и кнопку "Pause"/"Continue".  
А если бы еще дополнительно и общую кнопку для всех запущенных задач "Pause"/"Continue" - вообще бы удобно было.
 
3) хорошо бы иметь возможность сохранить все настройки всех заданных в сеансе загрузок в файл, и потом при запуске программы - загрузить этот сохраненный файл для продолжения работы. А то, если придется перезагрузить компьютер, например, то потом для продолжения работы видимо придется снова добавлять и настраивать все задачи. То есть добавить кнопки "Сохранить задачи"/"Загрузить задачи".  
И здесь тоже удобно было бы иметь дополнительные кнопки для запуска/паузы/возобновления/остановки всех запущенных в окне программы задач.

Всего записей: 212 | Зарегистр. 06-05-2010 | Отправлено: 12:42 14-11-2017 | Исправлено: nemo3001, 14:19 14-11-2017
relictus

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nemo3001
Просьба не путать отчеты с хотелками
 

Цитата:
Может быть и в будущих версиях Satmap (а они, надеюсь еще будут появляться ) появится возможность, открыв кэш с данными, просто обновить его на новые версии тайлов и составить для этого списки для загрузки обновленных тайлов?  

Штука нужная, как я сам о такой не догадался
Не уверен насчет новых версий, но именно это сделаю в первый же передых на работе

Всего записей: 3570 | Зарегистр. 19-04-2005 | Отправлено: 13:09 14-11-2017
nemo3001

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
relictus
А удалить уже ненужную добавленную задачу в программе видимо нельзя (или просто скрыть ее окно)?  
А то со временем часть задач уже выполнится, а часть будет продолжаться и при большом количестве потоков непросто это будет отслеживать в окне с прокруткой.  
Или просто случайно лишние задачи были добавлены и их можно было бы удалить...
Пока не нашел в программе этой возможности.
 

Цитата:
Просьба не путать отчеты с хотелками  

Конечно, просто напишу, как отработала программа в конкретной работе.
А замечания, о которых написал - может быть и самому автору пригодятся когда-нибудь, как идеи для будущих доработок.
Одна голова хорошо, а несколько - лучше. Идеи генерировать легче, чем работать

Всего записей: 212 | Зарегистр. 06-05-2010 | Отправлено: 13:23 14-11-2017 | Исправлено: nemo3001, 13:51 14-11-2017
relictus

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nemo3001

Цитата:
А удалить уже ненужную добавленную задачу в программе видимо нельзя (или просто скрыть ее окно)?  

Нельзя. Спецом так сделал, чтоб инфа об уже выполненных задачах была на виду. Не забывайте, что это просто загрузчик, с минимумом настроек. Выполнил один пул задач, закрыл утилитку. Надо еще что-то - запустил по новой, с чистого листа. Да и вообще, ничто не мешает запустить хоть десяток копий тулзы, ограничено только ресурсами компа.

Всего записей: 3570 | Зарегистр. 19-04-2005 | Отправлено: 13:48 14-11-2017
nemo3001

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
И еще один вопрос: а если придется остановить загрузку и потом ее возобновить, то SatMapMultiDownloader начнет видимо заново загружать из списка в кэш те тайлы, что он скачал ранее?  
Что-то в SatMapMultiDownloader нет отметки, как в Satmap, "При наличии тайлов в кэше" - "Заменять существующие".
А иначе, если программа каждый раз будет с начала загружать по списку все тайлы, включая уже имеющиеся в кэше, то придется после остановки работы и перед ее продолжением вручную уменьшать в списках количество тайлов для загрузки, удалив оттуда уже загруженные строки...
Но все равно, очень удобная утилита для загрузки, спасибо

Всего записей: 212 | Зарегистр. 06-05-2010 | Отправлено: 13:52 14-11-2017 | Исправлено: nemo3001, 14:08 14-11-2017
relictus

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nemo3001

Цитата:
если придется остановить загрузку и потом ее возобновить, то SatMapMultiDownloader начнет видимо заново загружать из списка в кэш те тайлы, что он скачал ранее?

Если ты остановишь загрузку, то снова запустить ее уже не сможешь Будет предложено сохранить список недокачанных файлов, который, кстати, можно будет открыть в новой задаче.  

Цитата:
А то что-то нет отметки, как в Satmap, "При наличии тайлов в кэше" - "Заменять существующие".  

Так сделано для обспечения макс.производительности, т.к. для нового "чистого" кэша не нужно производить проверки на наличие имеющихся в нем тайлов. Накачай кучу кэшей, а потом в сатмапе их можно слить воедино, если нужно. Выделю, для лучшего понимания - загрузка идет в новый пустой кэш!. Если был выбран не пустой кэш, его содержимое будет удалено, т.е. файл кэша будет пересоздан. Предупреждения об этом имеются.

Всего записей: 3570 | Зарегистр. 19-04-2005 | Отправлено: 14:11 14-11-2017
nemo3001

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
relictus
Если программа при остановке работы предлагает сохранить список недокачанных файлов, то эта проблема с приостановкой загрузки и ее продолжением конечно полностью снимается, удобно.

Всего записей: 212 | Зарегистр. 06-05-2010 | Отправлено: 14:16 14-11-2017
relictus

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nemo3001

Цитата:
использовать в качестве источника для создания списка тайлов не выделение или трек, а просто готовый кэш, нельзя.  

Уже можно Сделал на скорую руку "Создать список закачки на основе активного кэша", см. меню Сервис.
Линк на прогу для теста см. в личке.
На моем компе из кэша размером 11.24 ГБ (2.752.569 тайлов) список создался за 7 сек.
 

Код:
My PC hardware spec:
 
    Computer:
      Computer Type                                     ACPI x64-based PC
      Operating System                                  Microsoft Windows 7 Pro SP 1
      DirectX                                           DirectX 11.1
    Motherboard:
      CPU Type                                          QuadCore Intel Core i7-4770K, 3700 MHz
      Motherboard Name                                  Gigabyte GA-Z87X-D3H
      Motherboard Chipset                               Intel Lynx Point Z87, Intel Haswell
      System Memory                                     16 GB  (DDR3-1333 Kingston 99U5471)
    Display:
      Video Adapter                                     NVIDIA GeForce GTX 660  (2 GB)
 

Всего записей: 3570 | Зарегистр. 19-04-2005 | Отправлено: 15:25 14-11-2017
nemo3001

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
relictus
Проверил работу пункта меню  "Создать список закачки на основе активного кэша".
На первый взгляд все работает просто отлично - берешь кэш, составляешь из него список для обновления, работает быстро.
Каких-либо ошибок в составленном списке не видно - количество строк в нем совпадает с количеством тайлов в исходном кэше, а после загрузки по нему можно будет сравнить схемы заполнения на разных уровнях для исходного и обновленного кэша.  
На такую загрузку еще понадобится время, а пока предварительное сравнение схемы заполнения по списку загрузки со схемами заполнения в исходном кэше разницы не показало.
Удобное обновление к Satmap получилось

Всего записей: 212 | Зарегистр. 06-05-2010 | Отправлено: 17:37 14-11-2017 | Исправлено: nemo3001, 17:51 14-11-2017
karst

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
relictus

Цитата:
Ты хоть отпишись как утилитка-то работает? А то я только на спутнике тестировал ее... Сколько максимально потоков запускал, как скорость и т.п.

Отвлекать не хотел!
 
Что хорошо - утилита устойчива к обрывам интернета. У нас последнее время он часто обрывался. Все закачки накрывались медным тазом, а качалке хоть бы что.
По автоматической генерации кэшей я уже проверил - все отлично.
Идея nemo3001 поменования кэшей  
Цитата:
xxx_001.smdl на xxx_002.smdl, и с xxx_001.cache на xxx_002.cache, где xxx - это любые символы в начале строки (путь, имя и тд).  
мне кажется не удобной. Сейчас я просто создал еще одну программу  SatMap (можно использовать exe от старой мульти), прописал в ней 32 кэша (можно и больше, с запасом) и при необходимости интегрировать скачанные кэши в один просто открываю программу и задаю только имя нового интегрального кэша.  Если имена кэшей будут меняться, мне придется вбивать каждый раз все имена по новой!
 
Теперь о максимальном количестве закачек (без спутника)
Я использую для закачки два довольно старых компа со сходной конфигурацией i5-3.20GHz-64bit-W7pro
Но на одном 4 гига памяти, а на втором 6
На том который имеет 4 гига, запускал по 32 закачки по 100.000 строк - были проблемы с запуском и работой других программ, а нексколько задач оборвались.
Сейчас остановился на 28 потоках + 1 спутник сегодня добавил - проблем нет.
 
На том, где 6 гб памяти пытался поставить на выходные файлы по 400-450 тысяч строк. При 32-28-24 потоках не хватало памяти. Некоторые закачки обрывались, некоторые просто отказывались запускаться.
При 16 потоках все стабильно.
 
Кстати о памяти уже в самой SatMap. Работаю на ноуте под W8.1 i5 8гб памяти.
Когда я пытаюсь создать список закачки глубиной более чем в 8 уровней, программа выдает сообщение о нехватке памяти, хотя по монитору памяти хватает.
 
ЗЫ Мелочь, но иногда раздражает.
Не очень удобно ограничение высоты окна 2-мя рядами - окна иногда прыгают вверх. Можно как-то сделать его безразмерным по высоте?
И по скорости - закачка примено 15000 тайлов в час на поток
 

Всего записей: 297 | Зарегистр. 05-07-2008 | Отправлено: 18:31 14-11-2017 | Исправлено: karst, 19:07 14-11-2017
nemo3001

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
relictus
Загрузка списка в 1 млн с небольшим строк закончилась примерно за 7,5 часов в 11 потоков двумя экземплярами программы SatMapMultiDownloader.64 при общей скорости около 2,5 тыс тайлов в минуту, около 230 тайлов в минуту в каждом потоке, то есть около 14 тыс тайлов в час на каждый поток. Видимо потоков можно будет делать и больше, экономя время.
Google капчами мучить не стал пока, так и не появилось ни одной.  
В оперативной памяти 2 экземпляра программы SatMapMultiDownloader.64.exe занимали во время загрузки от 150 до 250 мб каждый.
В файле config.ini параметр PragmaJournalMode установил в MEMORY: решил, что при значениях по умолчанию в InsertCountBeforeCommit=100 и PragmaCacheSize=2000, при среднем размере тайла около 10 кб и скоростном интернете с этим не будет большой проблемы. Нет смысла напрасно жесткий диск дергать при такой потоковой загрузке тайлов.
В общем, в работе утилита загрузки оказалась удобной, легкой и не нагружала излишне компьютер. Приятно с нею работать.

Всего записей: 212 | Зарегистр. 06-05-2010 | Отправлено: 21:07 14-11-2017 | Исправлено: nemo3001, 23:14 14-11-2017
karst

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nemo3001

Цитата:
Google капчами мучить не стал пока, так и не появилось ни одной.  

У меня тоже 2 дня нет каптч, но я качал спутник в один поток.
Асколько ты запускал?
 

Цитата:
то есть около 14 тыс тайлов в час на каждый поток

Похоже это ограничение со стороны Гугла.

Всего записей: 297 | Зарегистр. 05-07-2008 | Отправлено: 23:17 14-11-2017
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59

Компьютерный форум Ru.Board » Компьютеры » Программы » SatMap (часть 3)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru

Рейтинг.ru