3WiFi объединенная база логов Router Scan

Discussion in 'Беспроводные технологии/Wi-Fi/Wardriving' started by akokarev, 13 Jul 2015.

?
  1. Бесплатным для всех

    999 vote(s)
    62.7%
  2. Платным для неактивных участников

    189 vote(s)
    11.9%
  3. База свободна для скачивания

    209 vote(s)
    13.1%
  4. База доступна для просмотра на сайте, но не для скачивания

    322 vote(s)
    20.2%
  5. Нужна оффлайн шифрованная база для 3WiFi Locator

    136 vote(s)
    8.5%
  6. Обязательная регистрация на сайте

    457 vote(s)
    28.7%
  7. Регистрация только по приглашениям

    185 vote(s)
    11.6%
  8. Ограничения на просмотр согласно рейтинга участников

    70 vote(s)
    4.4%
  9. Проект нужно закрыть, базу удалить

    21 vote(s)
    1.3%
Multiple votes are allowed.
  1. Triton_Mgn

    Triton_Mgn Elder - Старейшина

    Joined:
    6 Jul 2015
    Messages:
    3,672
    Likes Received:
    5,797
    Reputations:
    51
    Уважаемый akokerev, это же не претензия .. О чем я и говорил ранее, что готов предложить Вам auxilary машину, с полным доступом и работающую 24 часа в сутки, разрешите откланятся)) это не сарказм. А что бы, в ту базу сделать загрузку разве код один? Может и тот сервер будет работать не так. Я так говорю лишь потому, что Вы немного разнознены , а в принципе по идее не так.
     
  2. Ossen

    Ossen Active Member

    Joined:
    4 Jun 2015
    Messages:
    229
    Likes Received:
    155
    Reputations:
    0
    Проблема масштабно начала наблюдаться после последней "оптимизации"
     
    Triton_Mgn likes this.
  3. Triton_Mgn

    Triton_Mgn Elder - Старейшина

    Joined:
    6 Jul 2015
    Messages:
    3,672
    Likes Received:
    5,797
    Reputations:
    51
    Нет нет , даже и не в последней , 2 оптимизации. Мы и в правду, так говорим что не можем поделиться кодом?
     
    Komfast likes this.
  4. akokarev

    akokarev Well-Known Member

    Joined:
    6 Dec 2012
    Messages:
    164
    Likes Received:
    309
    Reputations:
    7
    Ну если у Вас есть норм машина, почему бы самому не поднять форк? Исходники есть на гитхабе, о выгрузке из БД можно договориться с @binarymaster. Это поможет общему делу :)
     
  5. Triton_Mgn

    Triton_Mgn Elder - Старейшина

    Joined:
    6 Jul 2015
    Messages:
    3,672
    Likes Received:
    5,797
    Reputations:
    51
    Нет времени, как бы саркастично это не звучало. Залейте лучше на него все что хотите. Кроме того, что преследуется по закону.
     
    Komfast likes this.
  6. akokarev

    akokarev Well-Known Member

    Joined:
    6 Dec 2012
    Messages:
    164
    Likes Received:
    309
    Reputations:
    7
    Вот в этом то и проблема
     
    Triton_Mgn likes this.
  7. Triton_Mgn

    Triton_Mgn Elder - Старейшина

    Joined:
    6 Jul 2015
    Messages:
    3,672
    Likes Received:
    5,797
    Reputations:
    51
    Ну тогда надежда на вашу работу с @Vikhedgehog.
     
    Komfast likes this.
  8. Fusix

    Fusix Active Member

    Joined:
    11 Nov 2011
    Messages:
    74
    Likes Received:
    224
    Reputations:
    2
    3wifi.stascorp.com тормозит как и раньше из-за большого кол-ва точек.
    На fork очищена база, поэтому не грузит. Там есть проблемы с переделкой функции добавления на новый порядок запросов, т.к. stmt-php не выдает чистый запрос, а выполняет его сам, а нам самим нужно перед выполнением провести с ним манипуляции. Решается.

    Также на основной сайт присылаются сканы RS в онлайн режиме, вечером доходит до 2-4 запросов в секунду.
    Сравнение скорости работы с http://bluescreen.cc/wifi/ необъективны, т.к. его база в 10 раз меньше. При наших условиях все было бы точно также.
     
  9. Ossen

    Ossen Active Member

    Joined:
    4 Jun 2015
    Messages:
    229
    Likes Received:
    155
    Reputations:
    0
    Не проще ли отключить автозагрузку данных сканирования на сайт binarymaster вспоминаем разговор несколько страниц назад .
     
  10. hunt.lsk

    hunt.lsk Well-Known Member

    Joined:
    29 Jan 2012
    Messages:
    144
    Likes Received:
    395
    Reputations:
    6
  11. Ossen

    Ossen Active Member

    Joined:
    4 Jun 2015
    Messages:
    229
    Likes Received:
    155
    Reputations:
    0
    Внимательно читаем сообщения выше
     
    hunt.lsk likes this.
  12. hahanovB

    hahanovB Active Member

    Joined:
    22 Jul 2013
    Messages:
    264
    Likes Received:
    244
    Reputations:
    2
    Прочитайте три последних страницы. Сервер перегружен.
     
    akokarev, binarymaster and hunt.lsk like this.
  13. Triton_Mgn

    Triton_Mgn Elder - Старейшина

    Joined:
    6 Jul 2015
    Messages:
    3,672
    Likes Received:
    5,797
    Reputations:
    51
    Никто не задумывался об очистке базы , ну например 1 раз в год, где есть разделение, показывать на карте или удалены в виду старости в архив - в меню поиск по .......
     
    Komfast likes this.
  14. binarymaster

    binarymaster Elder - Старейшина

    Joined:
    11 Dec 2010
    Messages:
    4,717
    Likes Received:
    10,195
    Reputations:
    126
    Проблема не в количестве, а в неэффективности структуры хранения. Эту проблему решит новый формат базы, который мы сейчас делаем.

    Добавление точек практически доделано, но предупреждаю тех, кто туда уже что-то загрузил. Перед релизом база форка будет полностью очищена, затем будут импортированы данные из старой базы.
     
    hahanovB, Payer, akokarev and 2 others like this.
  15. akokarev

    akokarev Well-Known Member

    Joined:
    6 Dec 2012
    Messages:
    164
    Likes Received:
    309
    Reputations:
    7
    Можно поподробней? На сколько я понимаю тут 3 решения:
    1) В лоб - Перед каждым запросом заново инициализировать stmt
    2) Объявить несколько переменных и перед запросом выбирать нужную
    3) Заменить механиз stmt-php на что-то другое (msqli_query?)
    В каком месте\запросе затык?
     
  16. CRACK211

    CRACK211 Elder - Старейшина

    Joined:
    16 Sep 2009
    Messages:
    1,045
    Likes Received:
    1,127
    Reputations:
    11
    А вы не рассматривали структуру базы как в программе wifi map ? Там база На мой взгляд очень хорошая и правильная структура) точки с именами, комментариями, мас адресами очень быстро подгружаются) или вы такую же делаете?)
     
  17. yx-ex

    yx-ex Well-Known Member

    Joined:
    14 May 2011
    Messages:
    758
    Likes Received:
    787
    Reputations:
    10
    Я так понимаю,по Сочи статистики точек нет?Кто нибудь может мне дать в личку диапазоны Сочинские,чтобы восполнить пробел?Пробовал сам вычислить Сочинские диапазоны-полная белиберда по разным городам получается.Если нетрудно-откликнитесь кто нибудь пожалуйста,помогите собрать по Сочи точки.
     
  18. ChesteRock

    ChesteRock Active Member

    Joined:
    31 Aug 2013
    Messages:
    112
    Likes Received:
    132
    Reputations:
    1
    188.162.128.0-188.162.135.255
    94.25.128.0-94.25.191.255
    158.58.128.0-158.58.135.255
    77.106.192.0-77.106.255.255
    81.176.0.0-81.176.3.255
    81.176.28.0-81.176.29.255
    81.176.7.0-81.176.7.255
    81.177.120.0-81.177.127.255
    81.177.71.0-81.177.71.255
    81.177.74.0-81.177.74.255
    81.177.79.0-81.177.80.255
    81.177.90.0-81.177.93.255
    81.177.96.0-81.177.103.255
    91.210.24.0-91.210.27.255
    109.235.184.0-109.235.191.255
    185.30.106.0-185.30.107.255
    185.30.116.0-185.30.117.255
    185.30.118.0-185.30.119.255
    194.114.128.0-194.114.131.255
    194.190.100.0-194.190.100.255
    194.84.22.96-194.84.22.99
    194.84.28.16-194.84.28.31
    195.189.72.0-195.189.75.255
    195.239.162.0-195.239.162.255
    195.239.234.0-195.239.234.255
    195.62.54.0-195.62.55.255
    212.248.80.0-212.248.80.255
    212.248.81.224-212.248.81.255
    212.248.82.0-212.248.82.255
    213.241.254.0-213.241.254.255
    213.59.148.0-213.59.148.255
    213.59.215.0-213.59.215.255
    213.59.216.0-213.59.216.255
    213.59.217.0-213.59.217.255
    213.59.218.0-213.59.218.255
    213.59.219.0-213.59.219.255
    31.41.224.0-31.41.231.255
    62.182.136.0-62.182.143.255
    81.177.78.0-81.177.78.255
    81.177.95.192-81.177.95.255
    87.226.219.0-87.226.219.255
    91.197.104.0-91.197.107.255
    91.204.224.0-91.204.227.255
    91.211.36.0-91.211.39.255
    91.212.64.0-91.212.64.255
    91.214.56.0-91.214.59.255
    91.215.88.0-91.215.91.255
    91.216.192.0-91.216.192.255
    91.233.220.0-91.233.223.255
    92.50.226.144-92.50.226.151
    93.190.16.0-93.190.23.255
    212.248.81.0-212.248.81.95
    5.138.128.0-5.138.255.255
    62.183.51.0-62.183.59.255
    85.172.64.0-85.172.79.255
    85.172.96.0-85.172.111.255
    85.174.128.0-85.174.239.255
     
  19. binarymaster

    binarymaster Elder - Старейшина

    Joined:
    11 Dec 2010
    Messages:
    4,717
    Likes Received:
    10,195
    Reputations:
    126
    Я говорил о внутренней структуре...

    А я тут демонами балуюсь...
    [​IMG]
    You can't drown my daemons, they know how to swim. :D

    UPD: в 01:30 по МСК запускаю переход на новую версию базы (импорт старой базы). На протяжении этого периода просмотр и добавление будут недоступны.

    Добавление отключаю уже сейчас, чтобы финализировать старую базу.

    UPD2: миграция успешно завершена! Новая база работает в штатном режиме.

    Из 843023 записей старой базы успешно импортировано 840362 записей. Это связано с тем, что новый формат позволяет точнее определять дубликаты точек, благодаря хранению многих параметров в числовом виде.

    Важно: Я выложил самый свежий код на гитхаб, если кто-то найдёт баги - я принимаю pull реквесты.

    Выражается особая благодарность @Fusix за проделанную оптимизационную работу!
     
    #439 binarymaster, 15 Nov 2015
    Last edited: 15 Nov 2015
    Fusix, ChesteRock, gentux and 4 others like this.
  20. Triton_Mgn

    Triton_Mgn Elder - Старейшина

    Joined:
    6 Jul 2015
    Messages:
    3,672
    Likes Received:
    5,797
    Reputations:
    51
    )))хеви металл, ла ла ла лалала, Господин CRACK211, сначала скажите, что есть- очень хорошая и правильная структура? Не в обиду просто интересно:) ы?
     
    #440 Triton_Mgn, 15 Nov 2015
    Last edited: 15 Nov 2015
    Komfast, binarymaster and CRACK211 like this.