site-auditor 1.4.1

Description:

siteauditor 1.4.1

Site Auditor============Для чего--------Этот инструмент необходим для анализа и аудита сайтов. Осуществляет быстрый и качественный сбор информации в автоматическом режиме, достаточно указать цель.Особенности------------ Open Source- WHOIS- ip, title, description, keywords, web-server, powered by, content language, content type- Яндекс ТИЦ, Google PR, Alexa rank (во всем мире/в отдельной стране)- Проверка на наличие в каталогах Яндекс, Mail, Yahoo, DMOZ, TDP- Количество ссылок в Яндекс Блоги (часто требует капчу), Google, Яндекс (сколько проиндексировано всего (часто требует капчу)/попаввшие в индекс), Yahoo, Bing (в индексе, кол-во исходящих ссылок)- Проверка установки Яндекс метрики, Google Analytics, Live Internet, Rambler TOP100, Mail Rating- Проверка существования страниц авторизации - Joomla, WordPress, UMI.CMS, Ucoz, Bitrix, /admin, /login, MODX, DLE, Drupal, ISP Manager- Вывод ``sitemap.xml`` и ``robots.txt``, если существуют.- W3C HTML validator- Безопасный просмотрПример работы-------------.. code-block:: Enter site, please: google.ru Full scan? y/n y ================================================== WHOIS ================================================== domain: GOOGLE.RU nserver: ns1.google.com. nserver: ns2.google.com. nserver: ns3.google.com. nserver: ns4.google.com. state: REGISTERED, DELEGATED, VERIFIED org: Google Inc. registrar: RU-CENTER-REG-RIPN admin-contact: https://www.nic.ru/whois created: 2004.03.04 paid-till: 2014.03.05 free-date: 2014.04.05 source: TCI nic-hdl: RU-CENTER-REG-RIPN org: Regional Network Information Center phone: +7 495 737 0601 fax-no: +7 495 737 0602 e-mail: [email protected] www: https://www.nic.ru/whois whois: whois.nic.ru source: TCI Last updated on 2014.02.09 16:31:33 MSK ================================================== Base site information ================================================== Site ip - 87.245.196.177 Web Server - gws Powered by - NO Content Language - NO Content Type - text/html; charset=UTF-8 Site title - Google Description - NO Key words - NO W3C HTML validator - 26 Errors, 3 warning(s) ================================================== Ranks ================================================== Yandex TYC - 64000 Google Page Rank - 7 Alexa Rank in all world - 42 Alexa Rank in Russia - 3 ================================================== Catalogs ================================================== Yandex Catalog - YES Mail Catalog - YES Yahoo Catalog - NO DMOZ Catalog - YES, 16 TDP Catalog - YES ================================================== Links ================================================== Yandex Blog links - 418563 Proindexirovano v Google - примерно 1340000 Proindexirovano v Yandex - 2 млн Popavshie v index Yandex - 123875 Yahoo index - 3,320,000 Bing index - 3190000 Bing Outgoing Links - 59600 ================================================== Stats ================================================== Yandex Metrika - NO Google Analytics - NO Live Internet - NO Rambler TOP100 - NO Mail Rating - NO ================================================== Admins ================================================== Joomla Admin Directory - NO WordPress Admin Directory - NO UMI.CMS Admin Directory - NO Ucoz Admin Directory - NO Bitrix Admin Directory - NO Simple Login Page - NO Simple Admin Login Page - NO MODX Admin Directory or ISP Manager - NO DLE Admin Directory - NO Drupal Login page - NO ================================================== Safe Browsing ================================================== Google - NO - В настоящее время этот сайт не занесен в список подозрительных. NO - За последние 90 дней на этом сайте не размещалось вредоносное ПО. Yandex - Сайт google.ru не заражён, либо подробности заражения ещё не опубликованы Site Advisor - This link is safe. We tested it and didn't find any significant security issues ================================================== Files ================================================== Robots.txt: EMPTY SiteMap XML: EMPTY ================================================== All Time - 14.97 seconds ==================================================Установка---------Для работы **Site Auditor** необходим `Requests <https://github.com/kennethreitz/requests>`_ и Python 3.4.Вы можете `скачать <https://github.com/stleon/OmgSite/archive/master.zip>`_ текущую версию (все самое новое). Или вы также способны на следующее:.. code-block:: pip install requests pip install site-auditorКак пользоваться----------------На данный момент мы на стадии **Pre-Alpha**. Вы можете увидеть сообщения об ошибках и т.д. Но **Site Auditor** работает набольшинстве протестированных мной сайтов... code-block:: cd site_auditor python site_auditor.pyКуда будет развиваться----------------------Планируем сделать:- Web-приложение- Анализ позиций сайтов по запросам- Статистика по каждому запросу- Возможность ранжирования запросов- Система контроля работы сайта с оповещениемCopyright (C) 2014 ST LEONemail: [email protected] site: http://omgit.ruИстория изменений=================1.4.1 (22.03.2014)-----------------Исправлено:- определение кол-ва ссылок с яда1.4.0 (17.03.2014)-----------------Изменено:- Никаких 'YES'or 'NO' в атрибутах, теперь True or False1.3.8 (17.03.2014)-----------------Добавлено:- Python 3.41.3.7 (16.03.2014)-----------------Изменено:- Новый вид сканирования1.3.6 (10.03.2014)-----------------Изменено:- ``SiteException`` перенесен в ``site_auditor.py``1.3.5 (09.03.2014)-----------------Добавлено:- багфиксы, адаптация под модели saw1.3.1 - 1.3.4 (26.02.2014)-----------------Добавлено:- pip install- новая реализация __str__Удалены:- *txt файлы (out)1.3.0 (26.02.2014)-----------------Добавлено:- 2 вида сканирования - полное и частичное1.2.6 - 1.2.7 (25.02.2014)-----------------Добавлено:- Docs fix1.2.5 (19.02.2014)-----------------Добавлено:- Site Advisor1.2.4 (17.02.2014)-----------------Добавлено:- Вывод времени, затраченного на анализ1.2.3 (11.02.2014)-----------------Добавлено:- Поиск чистого домена1.2.2 (11.02.2014)-----------------Добавлено:- Исходящие ссылки Bing- Страницы в индексе Bing1.2.1 (11.02.2014)-----------------Добавлено:- TDP Catalog- Yahoo index1.2.0 (10.02.2014)-----------------Добавлено:- Безопасный просмотр1.1.2 (10.02.2014)-----------------Удалено:- Неиспользуемый код1.1.1 (10.02.2014)-----------------Добавлено:- Новая функция парсера1.1.0 (09.02.2014)-----------------Добавлено:- ``Microdata`` в тестовом режиме- Обновлены доки1.0.5 (09.02.2014)-----------------Добавлено:- Теперь строковое представление объекта можно настраивать в ``out.txt``- Обновлены доки1.0.4 (08.02.2014)-----------------Исправлено:- Никаких "!№" и тд в домене1.0.3 (08.02.2014)-----------------Исправлено:- Домен не менее 4х символов- ``www`` теперь не удаляются1.0.2 (07.02.2014)-----------------Исправлено:- Домен не длиннее 255 символов- Работа с доменами, написанными на кириллице1.0.1 (07.02.2014)-----------------Изменения:- Нет u'', так как Python 31.0.0 (07.02.2014)-----------------Изменения:- Переход на Python 3.30.2.1 (05.02.2014)-----------------Добавлено:- W3C HTML validator0.2.0 (05.02.2014)-----------------Добавлено:- Whois0.1.0 (04.02.2014)-----------------Добавлено:- Проверка существования страниц авторизации MODX, DLE, Drupal, ISP Manager0.0.1 (04.02.2014)-----------------Добавлено:- класс ``SiteAuditor`` и класс ``MetaHTMLParser``