A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Тема в разделе "Рекламный раздел", создана пользователем A-Parser Support, 22.05.17.

  1. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    27
    Симпатии:
    2
    Видео урок: Создание JS парсеров. Получение результатов от стандартного парсера

    Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере.

    [​IMG]

    В уроке рассмотрено:
    • Создание кастомного JS парсера
    • Использование встроенного парсера внутри JS парсера
    • Парсинг выдачи поисковой системы с фильтрацией результатов по заданному условию
    Полезные ссылки:
    Статья и готовый парсер: https://a-parser.com/resources/254/

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
     
  2. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    27
    Симпатии:
    2
    Видео урок: Создание JS парсеров. Парсинг сайта с проходом по страницах

    Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере.

    [​IMG]

    В уроке рассмотрено:
    • Создание кастомного JavaScript парсера без использования встроенных парсеров
    • Парсинг контента сайта постранично с использованием регулярных выражений
    • Реализация прохода по страницам ("пагинации") в JS парсере
    Статья и готовый парсер: https://a-parser.com/resources/255/

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
     
  3. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    27
    Симпатии:
    2
    1.2.138 - поддержка Node.js модулей, обработка ReCaptcha2 во всех парсерах Google, парсер AliExpress

    [​IMG]

    В A-Parser 1.2.138 добавлена эмуляция node версии 8.9.x с поддержкой загрузки модулей и частичной реализацией fs и net модулей. Это дает возможность обращаться из JavaScript парсеров напрямую к файловой системе, а также использовать подключение по TCP из модулей к другим сервисам(например mysql, redis, chrome...).

    Все это позволило загружать и использовать node модули из каталога npm, в котором собраны множество полезных библиотек для обработки данных, коннекторы к базам данных и множество других интересных вещей. На данный момент протестированы следующие модули: md5, async-redis, jsdom, puppeter.
    Улучшения
    • Добавлена поддержка Node.js модулей в JavaScript парсерах
    • [​IMG] SE::Google:: Position, [​IMG] SE::Google::Compromised и [​IMG] SE::Google::TrustCheck полностью переписаны, добавлена поддержка ReCaptcha2
    • Улучшена работы [​IMG] SE::Google::Modern в целом
    • В [​IMG] SE::Youtube добавлен выбор языка, а также реализована возможность включать/отключать Безопасный режим
    • Добавлен [​IMG] Shop::AliExpress
    • Улучшена проверка создаваемых переменных в пресетах
    • Улучшена работа сессий
    • Исправлено отображение имени файла запроса на карточке задания
    • Улучшена работа скрола в Тестовом парсинге
    • Добавлено удаление переносов из сниппетов в [​IMG] SE::Google::Modern
    • Картинка каптчи в парсере [​IMG] SE::Yandex::Register теперь скачивается через прокси
    • Множество мелких улучшений в интерфейсе
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа Конструктора регулярных выражений
    • Исправлена работа с кодировками в парсерах переводчиков и JS парсерах
    • Исправлена работа [​IMG] SE::Google:: Position
    • Исправлен выбор региона в [​IMG] SE::Yandex:: Direct
    • Исправлена работа опции Location в SE::Google::Modern
    • Исправлена работа сессий в SE::Google::Modern при переопределенном домене
    • Исправлена ошибка при совместном использовании опций Перезаписи файла, Начального и Конечного текстов
    • Исправлено отображение вкладок в Тесте задания
    • Исправлено отображение списка пресетов в поле Запустить по завершению
    • Исправлена работа this.proxy.set в JS парсерах
    • Исправлена передача дополнительных параметров в JS парсерах
    • Исправлена ошибка, из-за которой через API нельзя было указать Начальный и Конечный тексты
    • Исправлен экспорт пресетов
     
  4. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    27
    Симпатии:
    2
    Использование Xevil совместно с A-Parser для разгадывания ReCaptcha2

    [​IMG]

    Как известно, сейчас Google при парсинге очень часто выдает рекаптчу, что значительно усложняет и замедляет сбор данных.
    В A-Parser есть возможность обходить данную проблему, разгадывая рекаптчу с помощью сторонних сервисов. Поддерживаются различные онлайн сервисы, а также программные решения.

    Одним из таких решений есть XEvil. Его использование дает хороший прирост в скорости, а также значительно удешевляет парсинг, ведь здесь нету оплаты за количество разгаданных каптч/рекаптч, как в онлайн сервисах. Кроме этого, XEvil умеет разгадывать практически любые обычные каптчи (в виде картинки) и данная возможность также поддерживается в A-Parser.

    [​IMG]

    На данный момент использовать разгадывание рекаптчи с помощью XEvil можно в таких парсерах:

    В видео показано:
    • подключение Xevil к A-Parser для работы с ReCaptcha2
    • проверка работы и демонстрация работы в SE::Google::Modern

    Ознакомиться более детально с возможностями XEvil можно по ссылкам:

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
     
  5. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    27
    Симпатии:
    2
    Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb

    21-й сборник рецептов. В нем мы научимся отправлять сообщения в Telegram прямо из A-Parser, изучим работу с модулями Node.js в JS парсерах на примере решения задачи фильтрации по множеству признаков, а также спарсим весь IMDb. Поехали!

    Уведомления в Telegram из A-Parser

    Telegram является одним из самых популярных мессенджеров благодаря своей простоте, и в то же время большому функционалу. Среди прочего, в Телеграме можно создавать ботов, с помощью которых можно делать чаты более интерактивными. Взаимодействие с ботом на на стороне сервера происходит через Telegram Bot API. Используя эти возможности, можно легко и буквально за несколько минут настроить уведомления себе в Telegram прямо из парсера. О том, как это сделать, а также несколько реальных примеров - по ссылке выше.
    [​IMG]

    [​IMG]

    Фильтрация по множеству признаков

    Как известно, для фильтрации в А-Парсере используется встроенный функционал фильтров. Но бывают ситуации, когда список признаков, наличие которых нужно проверять, очень большой и его сложно вписать в строку стандартного фильтра.
    Начиная с версии 1.2.127 в A-Parser добавлена поддержка модулей Node.js. Благодаря этому появилась возможность читать список признаков из файла и использовать его для проверки страниц. О том, как это сделать, а также готовый парсер с мультифильтром - по ссылке выше.

    [​IMG]

    Парсинг рекомендаций фильмов из IMDb

    Пример решения задачи по сбору данных о фильмах и их рекомендаций на IMDb. Данная статья показывает, как можно решать задачи, которые на первый взгляд требуют много времени и ресурсов, буквально за несколько часов. Узнать о том, как спарсить весь IMDb за 1,5 часа, а также посмотреть пресет и забрать готовую базу можно по ссылке выше.

    [​IMG]

    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники рецептов:
    Сборники статей:
     
  6. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    27
    Симпатии:
    2
    1.2.160 - поддержка SQLite, проверка доменов на клей, Parse all results в SE::Yahoo

    [​IMG]
    Улучшения
    • Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования здесь
    • Добавлена защита от случайного закрытия окна парсера
    • В [​IMG] SE::Yahoo добавлены Parse all results и Parse related to level
    • [​IMG] SE::Yandex::TIC полностью переписан, добавлена возможность проверять домены на клей
    • В [​IMG] Rank::MegaIndex добавлена поддержка ReCaptcha2
    • Улучшен парсинг сниппетов в [​IMG] SE:: DuckDuckGo
    • Улучшен сбор почт в [​IMG] HTML::EmailExtractor
    Исправления в связи с изменениями в выдаче
    • Обновлен алгоритм Bypass Cloudflare
    • [​IMG] SE::Bing::Translator почти полностью переписан в связи с изменением логики работы переводчика Bing
    • Исправлена работа [​IMG] SE::Seznam с некоторыми видами запросов
    • Исправлен парсинг related keywords, а также мобильной выдачи в [​IMG] SE::Google::Modern
    • Исправлен парсинг related keywords в [​IMG] SE::Bing
    • Исправлена работа [​IMG] SE::IxQuick при работе с русскоязычными запросами
    • [​IMG] SE::Yandex:: Direct, [​IMG] SE::Google::ByImage, [​IMG] SE::Yandex::WordStat
    Исправления
    • Исправлена работа [​IMG] SE::Google::Modern на IPv6 прокси
    • Исправлена ошибка, из-за которой [​IMG] SE::Google::Modern собирал ссылки с пометкой опасных сайтов в общий массив ссылок
    • Исправлена работа с оператором поиска + в [​IMG] SE::Bing
    • Исправлен парсинг запросов со спецсимволами в [​IMG] SE:: DuckDuckGo
    • Исправлена работа [​IMG] Rank::MajesticSEO
    • Исправлен баг с overrideOpts в JS парсерах
    • Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов
    • Исправлена работа tools.js, баг появился в одной из предыдущих версий
    • Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий
     
  7. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    27
    Симпатии:
    2
    Видео урок: Создание JS парсеров. Работа с CAPTCHA

    Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.

    [​IMG]

    В уроке рассмотрено:
    • Создание JS-парсера для разгадывания капчи
    • Работа с объектом this.captcha внутри JavaScript кода
    • Описание процесса разгадывания каптчи, реализованного в A-Parser
    Статья и готовый парсер: https://a-parser.com/resources/257/

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
     
  8. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    27
    Симпатии:
    2
    Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов

    22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

    Получение страниц сайта и проверка индексации в Google и Яндекс

    Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.
    [​IMG]

    Парсим title и description для TOP10 поисковой выдачи по ключевому слову

    Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.
    [​IMG]

    Поиск сабдоменов сайта

    Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется [​IMG] HTML::LinkExtractor и Parse to level для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.
    [​IMG]

    Кроме этого:
    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники рецептов:
     

Поделиться этой страницей