DVDMaster Newbie Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Привет!   Никак не пойму, где должен лежать файл robots.txt, то ли в самом корне, то ли в папке /htdocs/? Если кладу в корень то проверка файла robots.txt на Яндексе говорит что его нет, значит должен лежать в /htdocs/, тогда вопрос откуда задавать путь из корня или из /htdocs/? Т.е. если мне нужно закрыть папку /htdocs/temp/, какой путь в robots.txt нужно указать /htdocs/temp/ или просто /temp/, т.к. файл robots.txt лежит в /htdocs/??   В общем совсем запутался, прошу помощи!!! Всего записей: 20 | Зарегистр. 16-08-2003 | Отправлено: 03:46 30-01-2004 | Исправлено: lynx, 17:52 25-02-2004

8AleX8 Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Robots.txt Validator Всего записей: 1813 | Зарегистр. 11-12-2001 | Отправлено: 00:09 02-06-2005

8AleX8 Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору http://www.yandex.ru/cgi-bin/test-robots Всего записей: 1813 | Зарегистр. 11-12-2001 | Отправлено: 01:02 08-06-2005

SphinxSerg Full Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Скажите пожалуйста, мне нужно через запретить поисковикам индексировать несколько каталогов и запретить индексирование всех файлов имеющих знак "?" в его названии. Как мне это сделать? Я поискал в инете материал на эту тему, но так толком и ничего не нашел. Подскажите, как правильно составить файл robots.txt? Всего записей: 441 | Зарегистр. 07-07-2004 | Отправлено: 22:13 27-09-2005

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору SphinxSerg Цитата: Скажите пожалуйста, мне нужно через запретить поисковикам индексировать несколько каталогов   выше сказано насчет папок.. Цитата: всех файлов имеющих знак "?" в его названии. не все поисковики этому последуют, но для гугла.. Цитата: 12. How do I tell Googlebot not to crawl dynamically generated pages on my   site?     The following robots.txt file will achieve this.     User-agent: Googlebot   Disallow: /*?     Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 00:26 28-09-2005

SphinxSerg Full Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Cheery Цитата: User-agent: Googlebot   Disallow: /*?   А если я поставлю: User-agent: * то это будет относится ко всем поисковикам? Не только для гугла? Всего записей: 441 | Зарегистр. 07-07-2004 | Отправлено: 23:44 28-09-2005

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору SphinxSerg Цитата: то это будет относится ко всем поисковикам? Не только для гугла? остальные просто могут не послушаться ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 00:18 29-09-2005

SphinxSerg Full Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Cheery Цитата: остальные просто могут не послушаться А вот у меня структура файла index.php?action=results&poll_ident=5, так вот можно, к примеру яндекс, чтобы индексировал только index.php? Мне вот это впринципе нужно или вышеописанная структура тоже подойдет: User-agent: * Disallow: /*? Всего записей: 441 | Зарегистр. 07-07-2004 | Отправлено: 09:53 30-09-2005

SphinxSerg Full Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Cheery Мне надо закрыть папки banners и pictures, так мне надо записать: Цитата: User-agent: * Disallow: /banners/   User-agent: * Disallow: /pictures/ или достаточно вот так: Цитата: User-agent: * Disallow: /banners/ Disallow: /pictures/ И еще вопрос, мне надо запретить к индексированию файлы содержащие знак вопроса(?), мне записать: Цитата: User-agent: * Disallow: /*? и у меня не будут индексироваться файлы на всем сайте или только в корне сайта? Всего записей: 441 | Зарегистр. 07-07-2004 | Отправлено: 17:38 08-11-2005 | Исправлено: SphinxSerg, 17:39 08-11-2005

Sky hawk Silver Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Собственно вопрос по теме, Есть двиг в полный путь h00p://site.com/content у него есть папки: cache, backup, admin, include... я запретил User-agent: * Disallow: /cgi-bin/ Disallow: /content/admin/ Disallow: /content/include/   нужно ли запрещать - cache, backup? спасибо. ---------- Волгоград в Фейсбуке АвтоТвиттер © каждый имеет мнение как хочет. Всего записей: 2153 | Зарегистр. 31-10-2003 | Отправлено: 15:10 13-08-2006

PEDKA Улыбающийся КС Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Sky hawk Цитата: нужно ли запрещать - cache, backup? Смотря что там находится. Папочку Цитата: backup я бы закрыл, а вот кэш ... Смотря насколько обновляемый сайт. ---------- вот такая вот батва ©... "Тестирование" это давно уже не помойка. "Тестирование" это филиал "Помощи" © Всего записей: 15958 | Зарегистр. 04-05-2003 | Отправлено: 12:06 14-08-2006

Sky hawk Silver Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору PEDKA ясно, спасибо. ---------- Волгоград в Фейсбуке АвтоТвиттер © каждый имеет мнение как хочет. Всего записей: 2153 | Зарегистр. 31-10-2003 | Отправлено: 13:02 14-08-2006 | Исправлено: Sky hawk, 15:17 14-08-2006

IIIKochevnikIII Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору вопрос такой есть путь /forum/index.php - его, да и вобще всю папку форум я хочу запретить к индекчированию, но хочу, что бы вместо этого они шли и индексировали /forum/archive/index.php - как такого добиться?   Всего записей: 133 | Зарегистр. 03-02-2005 | Отправлено: 18:21 06-02-2007

Sky hawk Silver Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору IIIKochevnikIII ну дык а кто мешает по одной пакпи задисаблить, а /архив/ оставить. и будет счастье у меня нечто подобное. ---------- Волгоград в Фейсбуке АвтоТвиттер © каждый имеет мнение как хочет. Всего записей: 2153 | Зарегистр. 31-10-2003 | Отправлено: 19:19 07-02-2007

rusfutbol Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Если у меня сайт типа utube, то поисковик будет запускать все видеоролики? Только купил скрипт, не знаю пока разрешить или нет поисковикам индексацию. Вдруг по хостингу весь трафик сожрет Или у них все продуманно и видео не запускается? Вообще сайт настроен - заходишь на страницу и flash-плеер стартует... Всего записей: 11 | Зарегистр. 22-09-2007 | Отправлено: 21:45 22-09-2007 | Исправлено: rusfutbol, 21:46 22-09-2007

Brodyaga Silver Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Для crawler'a твои флешки это коды <object... и другая текстовая мура. Как он по твоему их проиндексирует? Поисковик, рассказывающий краткое содержание фильма? ---------- Damn Metal Всего записей: 2713 | Зарегистр. 07-01-2006 | Отправлено: 22:23 22-09-2007

rusfutbol Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору ХЗ Тогда может robots.txt вообще удалить? Всего записей: 11 | Зарегистр. 22-09-2007 | Отправлено: 22:51 22-09-2007

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору rusfutbol Цитата: Тогда может robots.txt вообще удалить? мы телепатически догадаемся о его содержимом? чтобы угадать какие записи в нем есть.. и ограничивают ли они доступ паукам к какой то части сайта.. ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 22:59 22-09-2007

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору rusfutbol Цитата: да запомнил, что не смог перевести. Это код что означает? META-теги (meta) ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 23:48 22-09-2007

Страницы: 1 2 3 4 5

Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Robots.txt

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование