egor23 Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Цитата: Откуда вывод насчет "по одному тайлу"? возможно показалось, но операций много замечено если кэш-файл находится в "памяти", то экспорт идёт существенно быстрее и винт не "хрустит". в "память" загоняю посчитав md5 но это это кэш маленький 221МБ, могу позволить себе. Так же меньше винт хрустит, если кэши на разных винчестерах лежат.   посмотрите, что показывает File Monitor LOG можно открыть в File Monitor http://download.sysinternals.com/Files/Filemon.zip 1111 - новый кэш файл Filemon.7z   Цитата: Если есть другие предложения насчет оптимизации возможно ли предварительное кэширование перед операциями чтения\записи? т.е. считывается например кусок кэша в память, например 64МБ и там обрабатывается, и т.д. Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 14:32 28-02-2009

relictus Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору parasss Цитата: Не знал, что этого низзя делать при идущей закачке... Я вообще-то собирался сделать и закачку по выделению в отдельном потоке, после выявления всех нюансов работы с новым форматом кэша, но сейчас лучше не трогать прогу, когда она качает выделением. Цитата: Еще вопрос: ставил качаться на ночь. С утра сказало, что укачано 24 тысячи тайлов....я было обрадовался...но размер файла кэша в 9Мб (всего) несколько насторожил. Открыл качаемый слой, посмотрел - так и есть: там пусто.   ХЗ в чем дело... надо бы глянуть в твой такой "закачанный-пустой" кэш, но, как я понял, он уже испорчен закачанными поверх тайлами Если сможешь повторить ситуацию, выложи где-нибудь такой кэш, чтоб я смог его скачать (не больше 10 МБ и не на мыло! ) Цитата: Может, это как-то связано с размером экрана и числом одномоментно выводимых на экран тайлов (у меня монитор 29'' и соответственно "высокий" режим экрана)? Во люди живут! Я до сих пор на семнашку гляжу   Надо будет увеличить дефолтный размер внутреннего кэша....   netrebos Цитата: Будет очень жаль если связь с OZI в результате прогресса будет потеряна У SatMap не будет Цитата: Надеюсь, в ближайшее время кто-нибудь да поделится техдокументацией по своему кешу, а  relictus напишет конвектор. Ага, напишет. Только не конвектор, а конвертор   egor23 Цитата: замечено если кэш-файл находится в "памяти" Кхм.. а как он туда попал, что-то не понял... Цитата: возможно ли предварительное кэширование перед операциями чтения\записи?   т.е. считывается например кусок кэша в память, например 64МБ и там обрабатывается, и т.д. Надо полистать документацию SQLite, ведь это ее движок все делает. Всего записей: 3716 | Зарегистр. 19-04-2005 | Отправлено: 15:47 28-02-2009

egor23 Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Цитата: Кхм.. а как он туда попал, что-то не понял... перед этим сделал расчёт md5, соответсвенно данные считывались в опертивную память. т.е. делается расчёт md5 и сразу после в SatMap делается импорт. в место расчета md5 может быть копирование, но это всё катит с данными которые в памяти могут в памяти поместиться.   я сам этого не очень понимаю, это наверно больше вопросов к Windows. моё предположение: данные находятся в оперативной памяти, и при запросе этих данных с винта, запрсос чтения идёт уже сразу из оперативной.памяти   можете сами проверить кэш например 200МБ лучше после перезагрузки машины 1. сделать импорт кэша - будет хрустеть винт. 2. потом ещё раз сделать импорт - импорт будет идти несколько секунд. Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 16:46 28-02-2009

relictus Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору egor23 Цитата: я сам этого не очень понимаю, это наверно больше вопросов к Windows. Это точно. Именно она кэширует используемые файлы, сначал в память, после в своп-файл, а потом и вовсе выгружает, если долго не используется (это очень упрощенная схема). netrebos Цитата: если уж удалось прикрутить более продвинутый кэш и решить проблему с баном, может стоит подумать о возможности организовать параллельное выкачивание Одно дело выкачивать, скидывая тайлы в файлы (кэш САС), совсем другое - в один файл БД (как у моей проги). В первом случае почти всю работу делает винда, во втором - прога. Я не говорю, что это невозможно сделать, но это займет много моего ценного времени )) Я могу уменьшить время закачки в 5-10 раз, но не знаю, как к этому отнесется гугль - будет ли банить чаще или надольше :idontknow: Цитата: если свернуть окошко "выделение", потом оно не разворачивается В общем, сделаю так: в настройках введу соответсвующий параметр (использовать или нет сворачивание окна выделения), а то одним оно нужно, другим нет, у третьих оно глючит. А так- отключил, и нет проблем Всего записей: 3716 | Зарегистр. 19-04-2005 | Отправлено: 19:43 28-02-2009

egor23 Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору relictus Цитата: Я могу уменьшить время закачки в 5-10 раз, но не знаю, как к этому отнесется гугль - будет ли банить чаще или надольше мы готовы это проверить   Цитата: "Выделение - Скопировать"   Выделил уровни 1-10 + 4-ре слоя 1400372 тайла тайлов на этих уровнях нет процесс копирования занял 6 мин, т.е. имеем скорость обработки, на моей машине, 3890 тайлов\сек. Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 20:34 28-02-2009 | Исправлено: egor23, 20:42 28-02-2009

rex Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору relictus Цитата: Я могу уменьшить время закачки в 5-10 раз, но не знаю, как к этому отнесется гугль - будет ли банить чаще или надольше   Надо увеличить скорость и дать возможность юзеру самому регулировать скорость закачки. Последнее в любом случае необходимо сделать, так как уже сейчас на последнем уровне, где скорость закачки снимков не тормозится закачкой гибрида, скорость несколько высоковата.   Ночью, когда качались все слои подряд, скачалось 35 тысяч тайлов без бана, а когда перешел на 19-й уровень, где одни снимки через ~6000 тайлов получил каптчу. Вбивать буковки было лень, так что просто сменил IP реконнектом. Для тех кто качает дома очень удобный способ разбанивания.   Кстати. Поскольку вы пока не предусмотрели возможность запуска батника реконнекта в ответ на  выход каптчи прямо из программы, попробовал запустить USD в режиме реконнекта после своих закачек. Теоретически, периодическая смена IP должна была помочь обойти выход каптчи, но проверить это не удалось, так как  SatMap повела себя в таком режиме достаточно странно - после реконнекта программа возобновляла закачку, но через некоторое время выбрасывала окошко info "n - cкaчaны ycпeшнo, 0 - нe yдaлocь cкaчaть", притом, что незакачанных тайлов оставалась куча. Причем никакой закономерности в этом преждевременном завершении закачки проследить не удалось, иногда программа продолжала работать и после двух реконнектов. Если реконнектов не делать то преждевременного прерывания закачки не наблюдалось. Всего записей: 2319 | Зарегистр. 20-10-2003 | Отправлено: 13:59 01-03-2009

Nikolai2004 Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору rex менять ip реконнектом могут только пользователи adsl Всего записей: 1523 | Зарегистр. 07-01-2004 | Отправлено: 14:09 01-03-2009

relictus Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору egor23 Цитата: мы готовы это проверить   Хорошо, проверите, сделаю такую версию.   Цитата: Выделил уровни 1-10 + 4-ре слоя   1400372 тайла   тайлов на этих уровнях нет   процесс копирования занял 6 мин,   т.е. имеем скорость обработки, на моей машине, 3890 тайлов\сек. Это мне для информации? Или типа баг? Недопонял   rex Цитата: SatMap повела себя в таком режиме достаточно странно   А не пробовал увеличить время реконнекта и кол-во попыток? Я сей момент отследить никак не могу...   dolnick Цитата: ошибка воспроизводится. при попытке экспортировать в отдельный кэш появляется сообщение Cannot perform this operation on a closed database. В последней версии (1.4.1.23) эта ошибка исправлена. Попробуй еще. Я не могу понять, откуда у тебя в кэше взялись картинки размера отличного от 256х256 пикселей (а именно на это ругается прога). Какая полоса на гугле - прямая или косая, проге это безразлично , проблема не в полосе...   Всего записей: 3716 | Зарегистр. 19-04-2005 | Отправлено: 20:43 01-03-2009

egor23 Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору relictus Цитата: Это мне для информации? для информации. Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 20:50 01-03-2009

rex Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Nikolai2004 Цитата: менять ip реконнектом могут только пользователи adsl Kommunist Цитата: Не только. Ты ещё забыл про VPN. А что, на диалапе менять ip реконнектом нельзя? Везде можно, где динамический IP, а он почти у всех домашних компов именно такой. Если выделенная линия с постоянным IP, тогда действительно нельзя, но это дорогой вариант подключения и используется обычно у предприятий,  следовательно человек днем сидит за компом и может иногда буквы и ручками ввести или скорость замедлить.         Добавлено: relictus Цитата: А не пробовал увеличить время реконнекта и кол-во попыток? Я сей момент отследить никак не могу... Так реконнект внеший батник делает, который USD запускает после закачки очередного файла и несогласия рапидшары отдать следующий файл тому же IP. Время реконнекта не регулируется. Коннект рвется, а программа провайдера его сама принудительно восстанавливает. Но SatMap реагирует на это вполне адекватно, после восстановления замечательно продолжает качать, а потом, через неопределенное время вдруг пишет: "закачка окончена" - "0 - нe yдaлocь cкaчaть", хотя там еще качать и качать. Раньше нечто подобное было из-за  бана гугля, но тогда для обхода бана надо было менять IP. Сейчас же если возобновить закачку то спокойно продолжает качать дальше на том же IP, так что проблема скорее всего не в бане, хотя исключить, что это какая-то защита гугла срабатывает нельзя. Всего записей: 2319 | Зарегистр. 20-10-2003 | Отправлено: 23:13 01-03-2009 | Исправлено: rex, 23:31 01-03-2009

egor23 Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору relictus Цитата: Увы, нет. 10-15 потяну, больше - проблематично... локализация в 1 тайл 18-й уровень ЛВУ N 61° 22' 33.68"  E  47° 58' 28.53" ПНУ N 61° 22' 32.50"  E  47° 58' 33.78" 222222   SatMap при просмотре этого тайла даёт Access violation at address 006CB0A8 in module 'SatMapGPS.exe'. Read of address 00000000.   Добавлено: relictus Выделение - Скачать\Склеить Использовать координаты при копировнии из облсати с координатами через Ctrl+C \ Ctrl+V вместо, например, 61° 22' 33.68" получаю при вставке x=41501 y=18518   Добавлено: При Использовать координаты: кнопка I - не показывает размер области и т.п. Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 09:08 02-03-2009 | Исправлено: egor23, 10:39 02-03-2009

egor23 Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору relictus Цитата: А как он попал в кэш, известно? В нем одна картинка нулевого размера. это локализация из кэша 72МБ, который выше выложен. т.е. уменьшал область выделения до тайла на котором происходит сбой, потом скопировал в новый кэш.   Цитата: Проверил, все показывает. наверно была вкладка Скачать, на Склеить показывает. Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 11:01 02-03-2009

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101

Компьютерный форум Ru.Board » Компьютеры » Программы » SatMap

batva (02-04-2009 13:44): Продолжение -> SatMap (2)

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование