3WiFi объединенная база логов Router Scan

Discussion in 'Беспроводные технологии/Wi-Fi/Wardriving' started by akokarev, 13 Jul 2015.

?
  1. Бесплатным для всех

    1,000 vote(s)
    62.7%
  2. Платным для неактивных участников

    189 vote(s)
    11.9%
  3. База свободна для скачивания

    209 vote(s)
    13.1%
  4. База доступна для просмотра на сайте, но не для скачивания

    322 vote(s)
    20.2%
  5. Нужна оффлайн шифрованная база для 3WiFi Locator

    136 vote(s)
    8.5%
  6. Обязательная регистрация на сайте

    457 vote(s)
    28.7%
  7. Регистрация только по приглашениям

    185 vote(s)
    11.6%
  8. Ограничения на просмотр согласно рейтинга участников

    70 vote(s)
    4.4%
  9. Проект нужно закрыть, базу удалить

    21 vote(s)
    1.3%
Multiple votes are allowed.
  1. CRACK211

    CRACK211 Elder - Старейшина

    Joined:
    16 Sep 2009
    Messages:
    1,049
    Likes Received:
    1,127
    Reputations:
    11
    Кружков так много что карты не видно и ориентироваться по ней трудно) только с поиском по адресу на карте ))))
     
    akokarev likes this.
  2. TOX1C

    TOX1C Elder - Старейшина

    Joined:
    24 Mar 2012
    Messages:
    1,135
    Likes Received:
    1,931
    Reputations:
    24
    На мою страну ветрянка напала)
    [​IMG]
    нужно реализовать группировку точек по областям/нас. пунктам, и на базе этих данных кружки рисовать, а то вообще не смотрится
    например как тут
    [​IMG]
     
    Fusix, AnonimZero, CRACK211 and 2 others like this.
  3. binarymaster

    binarymaster Elder - Старейшина

    Joined:
    11 Dec 2010
    Messages:
    4,717
    Likes Received:
    10,195
    Reputations:
    126
    В общем, вместе с @Felis-Sapiens мы провели отладочную работу, внесли исправления, и теперь кластеризация работает полностью. :)

    Позже может будет. Сейчас есть ещё одна маленькая недоделка, кластеры не содержат в себе координаты охватываемого сектора.
     
    Fusix, CRACK211 and akokarev like this.
  4. akokarev

    akokarev Well-Known Member

    Joined:
    6 Dec 2012
    Messages:
    164
    Likes Received:
    309
    Reputations:
    7
    Лучше как для точек выводить данные первых 5 точек. А для точек где больше одной выводить количество, аналогично как у кластера делается
     
  5. CRACK211

    CRACK211 Elder - Старейшина

    Joined:
    16 Sep 2009
    Messages:
    1,049
    Likes Received:
    1,127
    Reputations:
    11
    [​IMG]


    что то опять со статистикой
    754027 Всего записей в базе
    713334 С корректным BSSID
    973160 С уникальным BSSID
    848517 Найдено на карте
     
    dremmar likes this.
  6. binarymaster

    binarymaster Elder - Старейшина

    Joined:
    11 Dec 2010
    Messages:
    4,717
    Likes Received:
    10,195
    Reputations:
    126
    Может быть памяти не хватает (т.к. мы используем таблицы в памяти), но это бывает не часто.
    Доделал, спасибо @Felis-Sapiens ещё раз! :)
     
    akokarev, CRACK211 and Felis-Sapiens like this.
  7. akokarev

    akokarev Well-Known Member

    Joined:
    6 Dec 2012
    Messages:
    164
    Likes Received:
    309
    Reputations:
    7
    Залил на гитхаб авторизацию пользователей. @binarymaster, проверьте пожалуйста, я мог накосячить жестко... уж больно много ошибок вылезало и на их устранения костылей не пожалел =)
    У меня всё работает, но работы еще много: регистрация, связь загрузок с пользователем, отчеты по пользователю.
    Но начинать с чего-то же надо!
     
    binarymaster and CRACK211 like this.
  8. akokarev

    akokarev Well-Known Member

    Joined:
    6 Dec 2012
    Messages:
    164
    Likes Received:
    309
    Reputations:
    7
    Если коммит пойдет в продакшн, предлагаю начать регистрацию через ЛС, не дожидаясь появления формы регистрации (а может её и вовсе не делать, а только по приглашениям как многие проголосовали?)
     
    Triton_Mgn, VladimirV and CRACK211 like this.
  9. CRACK211

    CRACK211 Elder - Старейшина

    Joined:
    16 Sep 2009
    Messages:
    1,049
    Likes Received:
    1,127
    Reputations:
    11
    Все таки проскакивают точки не соответствующие стандартам таблици) нет BSSIDа но точка как то добавилась в базу?)
    2015-12-03 Dimancho 10.231.0.0/16 Galaktika WPA/WPA2 mWd36e!1298 none none
    2015-12-04 Router Scan 105.157.0.0/16 ZTE WPA/WPA2 066207731515 none none
    2015-12-04 Router Scan 42.2.0.0/16 ChanBB WPA/WPA2 c323323323 12410149 none none
    2015-12-04 Router Scan 58.176.0.0/16 ASUS WPA/WPA2 sw1221$@ 17459761 none none
     
  10. binarymaster

    binarymaster Elder - Старейшина

    Joined:
    11 Dec 2010
    Messages:
    4,717
    Likes Received:
    10,195
    Reputations:
    126
    Посмотрел коммит. Первое, что бросается в глаза - одна точка в БД привязана к одному UID пользователя. А это означает, либо точки будут бегать от пользователя к пользователю, либо одна точка навечно останется у первого загрузившего.

    Наверно лучше завести отдельную таблицу привязки точек к нескольким пользователям. Связывать id точки с несколькими uid пользователей.
    Точки без BSSID могут быть в базе. Какие стандарты это нарушает? Если ESSID достаточно уникальный, то это единственный шанс найти точку.
     
    CRACK211 likes this.
  11. akokarev

    akokarev Well-Known Member

    Joined:
    6 Dec 2012
    Messages:
    164
    Likes Received:
    309
    Reputations:
    7
    Это только задумка так сделать, ещё не додел связь пользователь-точка. Потом можно будет доделать в отдельную таблицу.
     
  12. CRACK211

    CRACK211 Elder - Старейшина

    Joined:
    16 Sep 2009
    Messages:
    1,049
    Likes Received:
    1,127
    Reputations:
    11
    Мне казалось точки добавляются в связке ESSID+BSSID+key+security+-wps. И вы как то писали) наверно я не так понял. Я думал может скрипт пропускает )
     
  13. akokarev

    akokarev Well-Known Member

    Joined:
    6 Dec 2012
    Messages:
    164
    Likes Received:
    309
    Reputations:
    7
    Так и работает. Запиши данные ESSID+BSSID+key+security+-wps в одну строку на листочек. Затем запиши её же, только без бсида. Строки разные? Разные, значит не совпадают, значит храниться будут обе. А то что бсид пустой - да, разрешено это, если ессид и пароль не пустые
     
    CRACK211 likes this.
  14. Hurg

    Hurg New Member

    Joined:
    1 Oct 2015
    Messages:
    15
    Likes Received:
    3
    Reputations:
    0
    Есть пожелание поправить выдачу статистики по портам хотя-бы до топ 30.
     
    akokarev likes this.
  15. akokarev

    akokarev Well-Known Member

    Joined:
    6 Dec 2012
    Messages:
    164
    Likes Received:
    309
    Reputations:
    7
    Интересный косяк, у меня на пустой базе демон finalize и geolocate зависают.
    Finalize постоянно пишет: "Status: 0 found, 0 no, 5 left (Working)",
    а Geolocate находит поочередно все точки на карте, затем пишет Done, а потом по новой ищет эти же точки. Task state при этом всегда остается = 2.
    На версии до авторизации не пробовал, но думаю результат будет тот же.

    Еще обнаружил постоянные обращения к базе. Например авторизовался через форму, тут же пошли запросы:
    151204 23:31:13
    1 Connect root@localhost on 3wifi
    1 Query SELECT value FROM stats WHERE StatId=1
    1 Query REPLACE INTO stats SET StatId=1, value=0
    1 Query REPLACE INTO stats SET StatId=1, value=1

    1 Query SELECT * FROM users WHERE `login`='admin'
    1 Quit
    2 Connect root@localhost on 3wifi
    2 Query SELECT value FROM stats WHERE StatId=1
    2 Query UPDATE `users` SET `autologin`='2d46cf03bae06d91e4de567cc2487a04' WHERE `login`='admin'
    2 Quit
    3 Connect root@localhost on 3wifi
    3 Query SELECT value FROM stats WHERE StatId=1
    3 Query UPDATE `users` SET `ip_hash`='bb44d9d06c462ba4c1df630f43bea2af' WHERE `login`='admin'
    3 Quit
    Зеленым выделил полезные запросы, красным лишние. Догадываюсь, что ноги растут из QuerySql и если от этого избавиться, то нагрузка на базу может существенно сократиться.
     
    #755 akokarev, 4 Dec 2015
    Last edited: 4 Dec 2015
  16. binarymaster

    binarymaster Elder - Старейшина

    Joined:
    11 Dec 2010
    Messages:
    4,717
    Likes Received:
    10,195
    Reputations:
    126
    stats это служебная таблица, которая используется для хранения "состояния" базы, это Fusix делал.
     
  17. Da5h

    Da5h New Member

    Joined:
    5 Dec 2015
    Messages:
    6
    Likes Received:
    0
    Reputations:
    0
    на локалке после попытки upload получаю в ответ :

    {"result":true,"upload":{"state":false,"processing":false,"error":[]},"time":0.0017898082733154}


    ubuntu 12.04, php5, mysql,php5-mysqli итд... вроде все на месте
     
  18. akokarev

    akokarev Well-Known Member

    Joined:
    6 Dec 2012
    Messages:
    164
    Likes Received:
    309
    Reputations:
    7
    Это из последнего коммита? БД обновили? PHP какой версии? У меня на php 5.6 работает.
     
  19. dremmar

    dremmar Member

    Joined:
    5 Dec 2015
    Messages:
    18
    Likes Received:
    8
    Reputations:
    0
    День добрый, заметил такую проблему:
    при просмотре карты с точками на 3wifi, если поставить минимальный масштаб карты (или близкий к нему),
    то на карте пропадают точки, статистика не грузится, поиск перестаёт работать, Router Scan не может загрузить отсканированные роутеры.
    Через какое-то время всё восстанавливается.
    Дело, вероятно, в том, что на карте отрисовываются все точки, на что системе не хватает памяти.
    Прошу обратить на это внимание :rolleyes:

    P.S.
    и ещё- странно ведёт себя геолокация.
    В самом RouterScan местоположение определяется, а на 3wifi- нет.
    Например, роутер с ip 27.127.131.203
     
    #759 dremmar, 5 Dec 2015
    Last edited: 5 Dec 2015
    ChesteRock likes this.
  20. III4664T

    III4664T New Member

    Joined:
    2 Oct 2015
    Messages:
    6
    Likes Received:
    1
    Reputations:
    0
    Скиньте, плиз ссылочку для скачки 3wifi locator под Android

    Сорри, увидел только что есть отдельная тема )))
     
    #760 III4664T, 5 Dec 2015
    Last edited: 5 Dec 2015