На одном закрытом форуме давно ещё набрел на базу пользователей ВКонтакте. Естественно, в ней нет какой-либо конфиденциальной информации, просто некоторые данные, собранные с открытых страниц пользователей. База от 28.07.10, содержит информацию о всех или почти всех пользователях примерно до 76391587 id, экспортирована из MySQL, содержит поля id (порядковый номер в бд), userid (ид в вконтакте), name (имя), familyname (фамилия), gender (пол), familystatus (семейное положение), birthdate (дата рождения), birthcity (город рождения), country (страна), city (город проживания), mobile (номер мобильного), institute (институт), interests (интересы), groupslist (группы, в которых состоит пользователь). Вес в распакованном виде: 9,23 Гб Вес в архиве: 1,47 Гб Архив разбит на части, добавлена информация для восстановления. Ссылки: Часть 1 http://www.multiupload.com/936Z4FQNFM | Часть 2 http://www.multiupload.com/2PQ4J2D15N| Часть 3 http://www.multiupload.com/KD6CJAS6YX| Часть 4 http://www.multiupload.com/ZWC1PS3HOM| Часть 5 http://www.multiupload.com/1B189ONKIX| Часть 6 http://www.multiupload.com/58RJ1C7P4U| Часть 7 http://www.multiupload.com/OW6U3W53H7| Часть 8 http://www.multiupload.com/S3NFPSIBAZ| Часть 9 http://www.multiupload.com/6KWICN1BAN| Часть 10 http://www.multiupload.com/RVB76DSA1F Часть 11 http://www.multiupload.com/8VG2Q3I617| Часть 12 http://www.multiupload.com/O285GHOL74| Часть 13 http://www.multiupload.com/YV8EHMPY4J| Часть 14 http://www.multiupload.com/ZI5VJQE8S1| Часть 15 http://www.multiupload.com/T8JYGW22BY| Часть 16 http://www.multiupload.com/FAGE7ZA80O Стаття взята с kaimi.ru
ничего особенного в этом нету: прогнать getProfiles по диапазону айдишников -- вот и вся ваша мего-приватно-хакерская база
куда там делся комментарий про "Не даст мобильный"? добавляешь fields=contacts --- вот тебе и мобильники
а кто говорит, что ето мего-приватно-хакерская база ? я просто создал тему. быть может кому-то понадобится.
спасибо автору базы и kaimi, ну и MiolkyWay заодно, как раз таки думаю что базу можно всё таки назвать "мего-приватно-хакерская база" относительно всего другого что выкладывается в паблик, спарсить инфу об всех пользователях и всё, звучит просто, а на практике выходит 100 000 000 запросов, нужен софт, далее вконтакт врятли обрадуется если с одного ip придёт 100 кк одинаковых запросов, нужно много прокси, с одного акка тоже 100 кк запросов не сделаеш, нужно много акков, которые как и прокси будут банить, если собирать за 1 секунду данные об одном ид, то на сбор 76кк ид уйдёт 2.5 года, если 10 ид в секунду, то 3 месяца, если 100 ид в секунду, то примерно 10 дней, если 1000 ид в секунду, то примерно сутки, выходит чтобы собрать такую базу в приемлемые сроки нужно делать по 1000 http запросов в секунду, моя страница в html весит более 10 кб, знакит нужна скорость интернета минимум 10 мегабайт в секунду, то есть 100 мбит, но опыт мне подсказывает что скорость должна быть намного больше чтобы все запросы успешно прошли так что стоит такая база ни одну тысячу долларов
я имел ввиду приблизительную оценку цены её сбора, реальная цена её сбора известна только тому кто сам попробывал её собрать, реальная цена может быть и десятки тысяц долларов и просто сотни долларов, понятно что сейчас, когда база в паблике, она стоит 0рублей 0копеек
автор, ты хоть бы не поленился и вместо того, чтобы скопировать html код страницы kaimi, написал раздельно и человечески 1 чаcть 2 часть и т.д.
Я наконец её собрал. Ты немного не правильно считаешь (http://vkontakte.ru/developers.php?o=-1&p=getProfiles uids перечисленные через запятую ID пользователей (максимум 1000 штук).) То есть нужно всего лишь 100 000 запросов. Плюс слил их базу стран и городов. Жаль нельзя базу ip-шников их слить.
Может кому-то понадобится Code: return API.getProfiles({"uids":"[COLOR=Red]ID,ID[/COLOR]","fields":"uid, first_name, last_name, nickname, domain, sex, bdate, city, country, timezone, photo, photo_medium, photo_big, has_mobile, rate, contacts, education, nickname, online, domain, contacts"}); Ну или так, если делать выборку по друзьям. Code: return API.getProfiles({"uids":API.friends.get({"uid":"[COLOR=Red]ID[/COLOR]"}),"fields":"uid, first_name, last_name, nickname, domain, sex, bdate, city, country, timezone, photo, photo_medium, photo_big, has_mobile, rate, contacts, education, nickname, online, domain, contacts"}); Можно попробывать в этом приложение http://vkontakte.ru/app35569
Извени, не было время. и люди не будуть качать по ссилкам. я думаю чтьо все пойдут на kaimi.ru и там будут качать
