Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » Web-программирование » Парсинг сайтов по критериям.

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки

Открыть новую тему     Написать ответ в эту тему

masus



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всем добрый день!
Есть задача прошу подсказать как решить, в каком направлении копать, может есть софт для решения.
Задача – собрать базу сайтов рунета, СНГ по следующим критериям:
1. Отсутствие SSL на сайте.
2. Отсутствие корпоративной почты (почта с доменом сайта), в контактах на сайте указаны ящики типа XXX@mail.ru xxx@yandex.ru и .т.п.
3. Отсутствие какой либо CMS для этого сайта, этот критерий не основной.
Буду благодарен, за любую информацию которая может помочь в решении этой задачи.

Всего записей: 355 | Зарегистр. 04-10-2004 | Отправлено: 11:49 10-04-2020
Mavrikii

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
masus
Пишем паука, который проверяет https, ищет по страницам сайта email (которые могут быть и картинкой или как то обфускированы), проверяет типичную структуру известных cms (как делает 2ip). Запускаем во много потоков и ждем.
Непонятно какого ответа ожидали. Под специфичные задачи пишем самостоятельно. Попытки использования поисковиков (Яндекс, Гугл, ...) приведут к бану  в нем или срабатыванию системы защиты от роботизированных запросов.

Всего записей: 9709 | Зарегистр. 20-09-2014 | Отправлено: 13:39 10-04-2020 | Исправлено: Mavrikii, 13:40 10-04-2020
masus



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ищу что то готовое, или людей способных в решение данной задачи.  

Всего записей: 355 | Зарегистр. 04-10-2004 | Отправлено: 15:18 10-04-2020
Mavrikii

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
masus

Цитата:
ищу что то готовое

вряд ли есть для слишком специфичной задачи
 

Цитата:
людей способных в решение данной задачи

их нужно заинтересовать в Работа для веб/мастера/программиста (от РАБОТОДАТЕЛЕЙ)

Всего записей: 9709 | Зарегистр. 20-09-2014 | Отправлено: 21:34 10-04-2020
bestweb20

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Могу написать парсер! Обращайтесь! Список доменов можно купить (есть для этого сайты).




Здесь не доска обьявлений

Всего записей: 11 | Зарегистр. 21-08-2020 | Отправлено: 21:38 01-09-2020
Открыть новую тему     Написать ответ в эту тему

Компьютерный форум Ru.Board » Интернет » Web-программирование » Парсинг сайтов по критериям.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru