A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Тема в разделе "Рекламный раздел", создана пользователем A-Parser Support, 22.05.17.

  1. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    85
    Симпатии:
    2
    1.2.713 - новые парсеры: Telegram и eBay, оптимизации во встроенных парсерах, новые инструменты

    [​IMG]

    Улучшения
    • Добавлен новый парсер [​IMG] Telegram::GroupScraper, который собирает из публичных групп в Telegram данные о сообщениях: текст, дата, автор, ссылки на фото и видео
    • Добавлен новый парсер [​IMG] Shop::eBay, который позволяет парсить поисковую выдачу на ebay.com
    • Изменения в парсерах Google:
      • Добавлена переменная $detected_geo, в которой содержится информация о геолокации
      • В связи с неактуальностью удалены опции:
        • Old desktop computer (IE6) в Device
        • Util::AntiGate preset
        • Use digit captcha
    • В [​IMG] SE::Yandex увеличено максимальное значение Pages count до 25
    • В [​IMG] SE::Google::Images добавлена поддержка новой верстки
    • В [​IMG] Util::ReCaptcha2 добавлена поддержка capmonster.cloud
    • Парсер [​IMG] SE::MailRu полностью переписан, добавлена поддержка каптч и сессий и добавлен сбор ссылок на кешированные страницы
    • Парсер [​IMG] SE::Yandex::Direct полностью переписан, добавлен сбор тегов и дополнительных ссылок с анкорами
    • Добавлен новый инструмент шаблонизатора tools.task, на данный момент он умеет возвращать id задания и число потоков
    • JS парсеры: this.query.add теперь поддерживает передачу дополнительных параметров
    Исправления в связи с изменениями в выдаче
    Исправления
    • В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
    • Исправлены проблемы с рандомизацией в некоторых случаях
    • Исправлена ошибка в Social::Instagram:post при парсинге только массивов данных
    • Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
    • JS парсеры: исправлена работа с Node.js модулем socks

    [​IMG]
     
  2. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    85
    Симпатии:
    2
    Сборник рецептов #37: парсинг Twitter, поиск и скачивание картинок, парсинг групп в Telegram

    37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.

    Парсер постов из Twitter
    Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.
    [​IMG]

    JS::ImagesFromSE
    Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.
    [​IMG]

    Пресеты для парсинга публичных групп в Telegram
    Начиная с версии 1.2.709 в А-Парсер был добавлен [​IMG] Telegram::GroupScraper. Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета:

    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG]
     
  3. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    85
    Симпатии:
    2
    Сборник статей #10: отслеживание цен с уведомлением, парсинг характеристик товаров, редиректы

    10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

    Периодический мониторинг цен с уведомлением в Telegram
    В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.
    [​IMG]

    Сбор характеристик товара
    Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.
    [​IMG]

    Всё о редиректах
    Большая справочная статья, посвященная тематике редиректов.
    [​IMG]

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники статей

    [​IMG]
     
  4. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    85
    Симпатии:
    2
    Видео урок: Парсинг тематических доменов из Google и получение различных параметров по доменам

    В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.



    В уроке рассмотрено:
    • Парсинг поисковой выдачи Google
    • Вывод уникальных результатов в качестве главных доменов
    • Получение таких параметров как:
      • зарегистрирован домен или нет
      • дата регистрации и дата окончания регистрации домена
      • язык сайта
      • title и description
      • индекс качества сайта
      • позицию в глобальном рейтинге Alexa
      • cтрану с наибольшим числом трафика по Alexa
      • позицию в рейтинге этой страны по Alexa
    Полезные ссылки:
    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

    [​IMG]
     
  5. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    85
    Симпатии:
    2
    1.2.752 - полноценная поддержка Node.js, функция Memory Saver, оптимизация производительности

    [​IMG]

    Улучшения
    • Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: https://a-parser.com/threads/5807/
    • Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
    • Улучшена производительность [​IMG]SE::Yandex
    • В [​IMG]Shop::Amazon добавлена возможность подключать антигейт, а также поддержка сессий
    • В [​IMG]SE::Google::ByImage добавлена возможность выбирать язык интерфейса, язык результатов и страну
    • Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа Bypass Cloudflare в некоторых случаях
    • Исправлена работа при малом числе прокси
    • Исправлена проблема при редактировании дополнительных форматов результатов

    [​IMG]
     
  6. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    85
    Симпатии:
    2
    Сборник рецептов #38: парсер Яндекс.Кью, парсер сайтов из Яндекс.Радар и определение типов сайтов

    38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

    Парсер Яндекс Кью
    Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.
    [​IMG]

    Парсинг сайтов из Яндекс.Радар
    Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.
    [​IMG]

    Определение типа сайта по Яндекс Радару
    И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.
    [​IMG]

    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG]
     

Поделиться этой страницей