Парсер/граббер постов VK (выкачивает посты, формирует CSV, много фильтров)

VK Posts Parser - шаблон для программы ZennoPoster предназначенный для парсинга/граббинга постов со стен сообществ и/или профилей в ВК.

Если у вас нет программы ZennoPoster и вы не хотите ее покупать, то можно выписать так называемый ZennoBox который позволит вам запускать шаблон. Подробнее об этом в самом конце этого поста.

С помощью этого шаблона можно:

• Отбирать посты по множеству различных фильтров
• Собрать подробную информацию о различных параметрах постов (CSV)
• Выкачивать посты целиком или их отдельные элементы

Кому может пригодиться:

• SMM-специалистам
• Контент-менеджерам и тем кто ведет свои сообщества в различных соцсетях
• Рекламщикам, маркетологам, аналитикам
• Дорвейщикам, арбитражникам, сеошникам
• Тем кому просто нужно скачать содержимое постов со стены или их отдельные элементы к себе на ПК

Фильтры по которым можно отбирать посты со стен:





Результат работы шаблона

Результат состоит из двух составляющих:

1) Папки с выкаченными постами или их отдельными элементами. Какие конкретно элементы выкачивать вы задаете самостоятельно во входных настройках





2) CSV (Excel) файл с прошедшими все фильтры постами и их параметрами. Создается всегда.

Пример CSV файла с результатом парсинга. Таблица слишком широкая и не умещается на один экран, поэтому прикрепляю 2 скриншота (второй после скрола вправо).



после скрола вправо до упора




Расшифровка столбцов CSV файла:
URL - это URL адрес конкретного поста в ВК.
timestamp - время публикации поста в формате Unix (количество секунд, прошедших с полуночи 1 января 1970 года). Чем свежее пост, тем больше эта цифра. Колонка удобна для сортировки постов по дате публикации.
datetime - время публикации поста в привычном нам формате ДД.ММ.ГГГГ ЧЧ:ММ ... при фильтрации данных в Excel удобно выделять определенные годы / месяцы / дни.
type - может иметь значение post или repost
views - количество просмотров
likes - количество лайков (отметок нравится)
reposts - количество репостов
comments - количество комментариев
ltr - лайкабельность поста в % ( ltr = (likes/views)*100% )
rtr - репостабельность поста в % ( rtr = (reposts/views)*100% )
ctr - комментируемость поста в % ( ctr = (comments/views)*100% )
images - количество картинок
video_total - общее количество видео в посте
video_vk - количество видео VK
video_youtube - количество видео с YoutTube
video_vimeo - количество видео с Vimeo
audio - количество аудиозаписей
doc_total - общее количество документов
doc_gif - количество документов GIF
doc_word - количество документов Word
doc_excel - количество документов Excel
doc_pdf - количество документов PDF
doc_ppt - колчичество документов PPT (Power Point)
text_len - количество симоволов текста
int_links - ( no/yes) - наличие внутренних ссылок
ext_links - ( no/yes) - наличие внешних ссылок
is_ads - помечен ли пост как реклама ( 1 - да | 0 - нет )
is_article - является ли пост ссылкой на статью (1 - да | 0 - нет)
can_comment - можно ли комментировать пост (1 - да | 0 - нет)
can_repost - можно ли репостнуть пост (1 - да | 0 - нет)
signer_id - идентификатор автора, если запись была опубликована от имени сообщества и подписана пользователем;

Про статьи ( articles )

Шаблон работает именно с постами, статьи он не грабит! Во-первых, статья это вообще отдельная сущность, а не пост в привычном понимании этого слова. Когда Вы на какой-либо стене видите пост со ссылкой/кнопкой "Читать", то это именно то чем кажется - пост с прикрепленной ссылкой на статью, а не сама статья. Именно так он и грабится как пост состоящий из ссылки на статью.

Таким образом, запретив в фильтрах внутренние ссылки, вы исключите все посты ссылающиеся на статьи! Так же это можно сделать в Excel, отфильтровав по полю is_article

Еще немного про шаблон

• Работает по POST/GET запросах без использования браузера, для получения данных использует VK API
• Умеет работать с прокси (хотя в большинстве случаев можно обойтись и без них)
• Умеет работать с антикапча-сервисами antigate (anti-captcha) и rucaptcha + есть возможность разгадывать капчу вручную или через CapMonster2. Сразу хочу сказать что встретить капчу при таком виде парсинга - это еще ой как нужно постараться
• Рекомендуется запуск в 1 поток т.к каждый поток использует ВСЕ имеющиеся аккаунты ВК, они меняются при каждом новом обращении к API ... это позволяет парсить действительно крупные сообщества.
• Для работы нужны аккаунты ВК и возможно прокси. Для небольших сообществ хватит и 1 аккаунта без прокси, но если парсить нужно крупные сообщества, то желательно иметь несколько акков ВК! Я, например, использую 4-5 аккаунтов без прокси, хватает для парсинга практически любых сообществ.
• Написан целиком на C#

Дополнительная информация

• Лицензионный ключ привязывается к вашему Zenno ID. Если у вас несколько ZennoPoster-ов купленных в одном личном кабинете ZennoLab, то шаблон будет работать на каждом из них (так как у них одинаковый ZennoID), но не одновременно! Что бы перейти с одного ZP на другой шаблон должен не работать на первом 30 минут.
• Шаблон закрыт от редактирования и имеет права только на выполнение.
• Шаблон будет работать на версиях ZP от 5.10.2.0
• Шаблон после покупки нельзя переоформить на другой email/id т.е вы не можете его перепродать или передать кому-то еще
• У меня нет манибэка! Если после покупки шаблона он вдруг по какой-либо причине стал вам не нужен, тема под которую вы хотели его использовать умерла или не оправдала себя, вы вдруг поняли что в интернете денег нет, то все эти аргументы не принимаются!

Внимание:

На данный момент музыка из постов не выкачивается! (надеюсь временно)
Раньше была возможность получить .mp3 файл, но теперь ВК стал хранить аудио в другом формате - M3U8 - это такой плейлист-контенейнер в котором находятся ссылки на множество кусочков в формате .ts ... и что бы получить привычный нам mp3 нужно эти .ts файлы скачать, склеить и перекодировать в MP3. На ум сразу же пришел FFMPEG, он умеет работать с таким форматом, но к сожалению тесты показали что периодически при работе с такими файлами он подвисает и вешает весь поток т.ч от него пришлось отказаться. Пока за неимением хороших вариантов убрал пункт отвечающий за сохранение аудио. Все остальное качается как и прежде. Так что прошу иметь это ввиду!

DEMO-версия

Если у вас имеется ZennoPoster, то вы можете убедиться в работоспособности шаблона. Демо работает 1 сутки с момента первого запуска и сохраняет не более 10 постов.

Скачать DEMO с Google Drive

Инструкция внутри архива - файл instruction.docx

Демо от не демо отличается лишь вписанным во входные настройки лицензионным ключом т.ч запустив шаблон без лиц. ключа у вас автоматически запуститься DEMO-режим.

Стоимость шаблона

1 месяц - 750 руб (экономия 0 руб)
3 месяца - 1950 руб (получается 650/месяц, экономия 300 руб)
6 месяцев - 3300 руб (получается 550/месяц, экономия 1200 руб)
12 месяцев - 5400 руб (получается 450 руб/месяц, экономия 3600 руб )

Апдейты / обновления

Багфиксы и обновления бесплатные.

Контакты

* Telegram: https://t.me/volkovguru
* Email: profitbunker(собака)gmail.com

Если есть возможность, то отвечаю сразу, если нет, то как только такая возможность появится. Поэтому не нужно отдельно писать "привет", "как дела?", "есть вопрос" и ждать ответа ... сразу пишите что Вы с форума античат по поводу VK Posts Parser и свой вопрос.

Если у вас нет ZennoPoster, но хочется использовать шаблон

В этом случае можно сделать так называемый ZennoBox, который позволит вам запускать только купленные вами шаблоны.
За каждую выписку шаблона в ZennoBox необходимо заплатить ZennoLab-у (разработчикам zennoposter) разовый платеж в $10, который естественно перекладываются на конечного покупателя т.е на вас. Эти $10 прибавляются к стоимости аренды шаблона.

 

Небольшой апдейт

1) Добавлена доп. проверка ссылок на видео в постах которые отдает VK API. Иногда какие-то видео-сервера ВК работают не очень стабильно и в результате ссылка на видео оказывается битой, но при этом ВК дает и резервный сервер который следует использовать в случае проблем с основным. Так что теперь шаблон перед скачиванием видео из поста проверяет не битая ли ссылка и при необходимости использует резервный сервер.

2) Расширение исполняемого файла поменялось с .xmlz на .zp


P.S Так же напоминаю что у шаблона есть демо-версия и любой обладатель ZennoPoster может скачать и протестировать работоспособность шаблона. Демо работает 1 сутки с момента первого запуска и сохраняет не более 10 постов. Этого достаточно чтобы убедиться в работоспособности шаблона, посмотрить как все это выглядит на практике (а не в описании на форуме) и понять подходит ли данный шаблон для ваших задач. Демо от не демо отличается лишь вписанным во входные настройки лицензионным ключом т.ч запустив шаблон без лиц. ключа у вас автоматически запуститься DEMO-режим. Инструкция внутри архива - файл instruction.docx