Данный сервис предназначен для определения структуры сайта. Часто приходится пользоваться различными сканнерами для определения структуры сайта, но мы забываем, что в 99% случаев до нас это сделал лучший сервис сети, великий и могучий GOOGLE, причем частенько он запоминает то, до чего смертному просто так не добраться. Моя система пытается вытянуть максимум информации о сайте из гугла и построить на ее основе дерево сайта, утилита так же будет полезна web программистам для анализа индексации сайта гуглом. http://madnet.name/news/19.html P/S сразу уточню что это альфа версия. UPDATED Логическим продолжением madSS - madnet site structure стал переход его в GmadS – Google madnet Scaner Обуславливается это новыми возможностями системы, а именно: 1) Поиск доступной для просмотра PHPINFO информации 2) Вывод директорий сайта, запрещенных к индексированию 3) Вывод списка Сайтов на сервере aka (ReverseIP) линк тот же.
идея конечно ничего... но дорабатывать нужно... вот еще бы помимо гугла еще что нибудь... а то стата маленькая получаеться.
2cash, доведу до ума, а там наверняка 2tclover, здесь сервак сам сканит сайт, хотел бы я посмотреть как он просканит скажем 1к страниц + русский чет он никак
хотя бы в том, что http://tools.webmasters.sk тупо сканит ресурс, и если нет ссылки на какую-то страницу, то она никогда не появится в результатах, а мой сервис работает с гуглом, который за долгую историю скана собирает много инфы о сайте, к тому же логично что скорасть работы обсалюто отличается, у меня гинерится красивое дерево, а там х3, там не понимает русский язык, к томуж на моем сате тот сервис нашел 20 удаленный страниц, хех у меня всего столько, делаем вывод что криво он работает и т.д. и т.п.
Ок. Значит имеем такое: Там - робот, который шастая показывает as is. У тебя тулза, которая, используя кэши гугла позволяет построить не только as is по тому что нашастал гугловый робот, но и то что было раньше - это и будет чисто твоя фишка. Нужно будет только научиться отличать старое от нового и получить что-то типа 1 site.net --1 index.html [ver. -1] [ver. -2] ... --2 ... --3 ... Дальше, раз у тебя есть уже механизм запросов можно дёшево и сердито прикрутить форму "Искать в гугле для каждого листа дерева" и показать результаты в этих самых листах. Какие у тебя самого мысли о накручивании фич?
Упор делаю на поиск дыр, поэтому различать старое и новое особого смысла не вижу, а по поводу фич что-нить, типа поиска раскрытия пути посредством гугла, запрещеных дир пр роботс.тхт и т.п. толком не определился пока.
IMHO гугл запрещённое роботс.тхт как раз и не покажет (али нет?) А вот сам роботс.тхт кстати можно было бы распарсить - вдруг там что интересное (отметить на дереве ветки, запрещенные к показу) кстати кроме роботс.тхт в твоем методе выпадают ещё страницы потэженые как запрещенные к индексированию http://www.webmascon.com/topics/adv/8a.asp (см. ближе к концу)
Хорошая штука =) Надо только цвет шрифта поменять, пока приходится ctrl+a нажимать чтоб читабельно было, и в дизайн список не вписывается (размером - но это мелочи )) Даешь open source ! ++
