A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Тема в разделе "Рекламный раздел", создана пользователем A-Parser Support, 22.05.17.

  1. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    1.2.713 - новые парсеры: Telegram и eBay, оптимизации во встроенных парсерах, новые инструменты

    [​IMG]

    Улучшения
    • Добавлен новый парсер [​IMG] Telegram::GroupScraper, который собирает из публичных групп в Telegram данные о сообщениях: текст, дата, автор, ссылки на фото и видео
    • Добавлен новый парсер [​IMG] Shop::eBay, который позволяет парсить поисковую выдачу на ebay.com
    • Изменения в парсерах Google:
      • Добавлена переменная $detected_geo, в которой содержится информация о геолокации
      • В связи с неактуальностью удалены опции:
        • Old desktop computer (IE6) в Device
        • Util::AntiGate preset
        • Use digit captcha
    • В [​IMG] SE::Yandex увеличено максимальное значение Pages count до 25
    • В [​IMG] SE::Google::Images добавлена поддержка новой верстки
    • В [​IMG] Util::ReCaptcha2 добавлена поддержка capmonster.cloud
    • Парсер [​IMG] SE::MailRu полностью переписан, добавлена поддержка каптч и сессий и добавлен сбор ссылок на кешированные страницы
    • Парсер [​IMG] SE::Yandex::Direct полностью переписан, добавлен сбор тегов и дополнительных ссылок с анкорами
    • Добавлен новый инструмент шаблонизатора tools.task, на данный момент он умеет возвращать id задания и число потоков
    • JS парсеры: this.query.add теперь поддерживает передачу дополнительных параметров
    Исправления в связи с изменениями в выдаче
    Исправления
    • В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
    • Исправлены проблемы с рандомизацией в некоторых случаях
    • Исправлена ошибка в Social::Instagram:post при парсинге только массивов данных
    • Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
    • JS парсеры: исправлена работа с Node.js модулем socks

    [​IMG]
     
  2. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник рецептов #37: парсинг Twitter, поиск и скачивание картинок, парсинг групп в Telegram

    37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.

    Парсер постов из Twitter
    Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.
    [​IMG]

    JS::ImagesFromSE
    Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.
    [​IMG]

    Пресеты для парсинга публичных групп в Telegram
    Начиная с версии 1.2.709 в А-Парсер был добавлен [​IMG] Telegram::GroupScraper. Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета:

    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG]
     
  3. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник статей #10: отслеживание цен с уведомлением, парсинг характеристик товаров, редиректы

    10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

    Периодический мониторинг цен с уведомлением в Telegram
    В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.
    [​IMG]

    Сбор характеристик товара
    Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.
    [​IMG]

    Всё о редиректах
    Большая справочная статья, посвященная тематике редиректов.
    [​IMG]

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники статей

    [​IMG]
     
  4. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Видео урок: Парсинг тематических доменов из Google и получение различных параметров по доменам

    В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.



    В уроке рассмотрено:
    • Парсинг поисковой выдачи Google
    • Вывод уникальных результатов в качестве главных доменов
    • Получение таких параметров как:
      • зарегистрирован домен или нет
      • дата регистрации и дата окончания регистрации домена
      • язык сайта
      • title и description
      • индекс качества сайта
      • позицию в глобальном рейтинге Alexa
      • cтрану с наибольшим числом трафика по Alexa
      • позицию в рейтинге этой страны по Alexa
    Полезные ссылки:
    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

    [​IMG]
     
  5. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    1.2.752 - полноценная поддержка Node.js, функция Memory Saver, оптимизация производительности

    [​IMG]

    Улучшения
    • Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: https://a-parser.com/threads/5807/
    • Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
    • Улучшена производительность [​IMG]SE::Yandex
    • В [​IMG]Shop::Amazon добавлена возможность подключать антигейт, а также поддержка сессий
    • В [​IMG]SE::Google::ByImage добавлена возможность выбирать язык интерфейса, язык результатов и страну
    • Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа Bypass Cloudflare в некоторых случаях
    • Исправлена работа при малом числе прокси
    • Исправлена проблема при редактировании дополнительных форматов результатов

    [​IMG]
     
  6. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник рецептов #38: парсер Яндекс.Кью, парсер сайтов из Яндекс.Радар и определение типов сайтов

    38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

    Парсер Яндекс Кью
    Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.
    [​IMG]

    Парсинг сайтов из Яндекс.Радар
    Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.
    [​IMG]

    Определение типа сайта по Яндекс Радару
    И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.
    [​IMG]

    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG]
     
  7. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник статей #11: анализ содержимого картинок, добавление ссылок в индекс Google и поиск RSS лент

    11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

    Фильтрация картинок по их содержимому
    В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.
    [​IMG]

    Инструкция по использованию Google Indexing API
    В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.
    [​IMG]

    Поиск и сбор rss лент
    В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.
    [​IMG]

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники статей

    [​IMG]
     
  8. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    1.2.799 - новый парсер для поиска картинок, улучшения в существующих парсерах

    [​IMG]

    Улучшения
    • Добавлен новый парсер [​IMG] SE::Yandex::ByImage - поиск картинок в Яндексе по ссылке
    • В [​IMG]Social::Instagram::post добавлена возможность собирать ссылки на локации
    • В [​IMG]Util::YandexRecognize добавлена поддержка сессий
    • В [​IMG]SE::Yandex::SQI добавлена возможность определять считается ли домен "официальным"
    • Улучшения в [​IMG] HTML::EmailExtractor для более качественного сбора почт
    • В [​IMG] SE::Google::Trends обновлен и значительно расширен список регионов
    • Из [​IMG] SE::Seznam удален парсинг $related в связи с тем, что связанные ключевые слова больше не выводятся на странице выдачи
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен выбор страны в [​IMG]SE::Yahoo
    • Исправлен баг с декодированием ссылок в [​IMG] SE::Google::Images
    • В режиме -newnode исправлены проблемы с кодировкой и оптимизировано потребление памяти

    [​IMG]
     
  9. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Парсинг booking.com с помощью A-Parser
    В этом видео уроке рассмотрен парсинг ресурса booking.com, получение результатов поиска квартир и отелей на сайте. Подробную информацию о них будем получать при помощи парсера Net::HTTP.



    В видео рассмотрено
    • Пользование разделом тестового парсинга
    • Переход по страницам пагинации
    • Проверка наличия определенного контента на странице сайта
    • Использование регулярных выражений
    • Применение конструктора результатов (декодирование HTML сущностей)
    • Применение шаблонизатора Template Toolkit в формате результата:
      • Использование инструмента $tools.CSVline
      • Циклическая обработка директивой FOREACH
      • Виртуальный метод .match
      • Фильтры: .remove, .collapse, .replace

    Полезные ссылки
    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

    [​IMG]
     
  10. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник рецептов #39: бот-опросник, парсер hotline.ua и copart.com

    Представляем вашему вниманию 39-й сборник рецептов, в который вошли:
    • телеграмм бот опросник
    • парсер агрегатора цен hotline.ua
    • парсер аукционов транспортных средств copart.com

    Телеграмм бот опросник
    Данный бот позволяет организовать ежедневный опрос сотрудников, при этом список вопросов можно гибко менять. Все настройки берутся из Google таблицы, а также туда пишутся ответы по каждому сотруднику.
    Также, этот пример демонстрирует возможность создания телеграмм бота на базе A-Parser и работу с Google таблицами.


    Парсер hotline.ua
    hotline.ua - это самый большой агрегатор цен в Украине. С его помощью можно мониторить и анализировать цены на товары у конкурентов или искать наиболее выгодные предложения среди большого количества интернет-магазинов.
    [​IMG]

    Парсер copart.com
    Copart является одним из крупнейших интернет аукционов, специализирующихся на продаже новых и б/у автомобилей. По официальной информации каждый день на аукционе выставляется на продажу более 150 000 транспортных средств.
    [​IMG]

    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG]
     
  11. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Видео урок: Именование файлов результатов

    Мы начинаем публикацию серии коротких видеоуроков, каждый из которых будет посвящен какому-то одному функционалу.
    И в этом уроке будут рассмотрены варианты формирования имени файла результата.



    В видео рассмотрено:
    • Нумерация файла результата в соответствии с запросами
    • Нумерация файла результата + часть имени запроса
    • Именование файла результата по запросу, если запрос линк

    Полезные ссылки:

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
    [​IMG]
     
  12. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    1.2.852 - новый парсер для Google Keyword Planner, Native NodeJS, множество исправлений и улучшений
    [​IMG]

    Улучшения
    • Добавлен парсер [​IMG] SE::Google::KeywordPlanner
      • собираются списки подсказок и варианты ключевых слов
      • для каждого варианта парсится среднее кол-во запросов в месяц, конкуренция, объемы поиска, а также минимальная и максимальная ставки
      • присутствует возможность указывать несколько ключевых слов в запросе
    • В [​IMG] SE::Yandex::ByImage добавлена функция Get full links to page, которая позволяет получать реальные ссылки на страницы
    • В [​IMG] SE::Yandex::SQI добавлены переменные сбор количества отзывов и оценок, а также рейтинга
    • Улучшена проверка правильности разгадывания каптчи в парсерах Яндекса
    • Автоматическое увеличение лимитов на ОС Linux
    • Улучшена работа с регулярными выражениями
    • При бане прокси в лог задания теперь выводится более детальная информация
    • Native NodeJS переведена из стадии альфы в бету, проведено множество оптимизаций, за счет чего в большинстве сценариев это дает повышение максимальной скорости в 1.5-2 раза, а также уменьшение потребление памяти в 2-4 раза
      • Начиная с 1.2.822 все бета версии имеют включенный Native NodeJS, стабильные версии выходят с включенным oldnode
    • Native NodeJS: добавлена экспериментальная поддержка HTTP/2
    • Native NodeJS: обновление Node.js до актуальной версии
    • JS парсеры: добавлена опция allow_dangerous_node_modules, подробнее тут
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа [​IMG] Net::Whois с доменами 3го уровня, а также улучшена проверка получаемого ответа
    • Исправлена работа Extra query string в [​IMG] SE::Bing
    • Исправлена работа Rank::SEMrush и Rank::SerpStat::Keyword при получении ответа без данных
    • Исправлен баг с типами переменных
    • Исправлена ошибка, при которой запросы ошибочно считались неудачными при постановке задания на паузу
    • Исправлена работа Bypass Cloudflare
    • Исправлен динамический лимит потоков
    • Исправлена ошибка при использовании Request delay
    • Исправлено предупреждение о превышении лимита в Поле запросов
    • Исправлена работа $tools.task.id в имени файла результата
    • JS парсеры: исправлены получение сессий и работа http2 (баг появился в одной из предыдущих версий)
    • JS парсеры: исправлено определение кодировки страницы
    • Native NodeJS: исправлено поведение при некоторых ошибках
    • Native NodeJS: исправлена проблема при обновлении A-Parser на OS Windows
    • Native NodeJS: исправлена работа save_to_file, а также еще ряд ошибок
    • Native NodeJS: исправлена работа SOCKS5 с авторизацией
    • Native NodeJS: исправлена подстановка данных после Конструктора запросов

    [​IMG]
     
  13. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник рецептов #40: посещаемость организаций, SSL сертификаты, ikea и анализ доменов


    Представляем вашему вниманию 40-й сборник рецептов, в который вошли:
    • парсер данных о посещаемости организаций
    • парсер данных о SSL сертификатах
    • парсер товаров на ikea.com
    • комплексный пресет для анализа доменов по ряду характеристик
    • способ извлечения доменов из ссылок без фактического захода на страницу

    Посещаемость в Google Maps
    В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
    Представляем парсер, который собирает данные о посещаемости.

    [​IMG]

    Данные по SSL сертификату
    Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.

    [​IMG]

    Парсер ikea.com
    Парсер данных из ikea.com, который позволяет собирать различную информацию о товарах. Согласно данным из Википедии, ikea - это одна из крупнейших в мире торговых сетей по продаже мебели и товаров для дома.

    [​IMG]

    Кроме этого:

    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG]
     
  14. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Видео урок: Сохранение результатов в несколько файлов используя переменные, массивы и условия

    В этом видео уроке рассмотрены способы сохранения результатов в несколько файлов, используя переменные и массив, при определенных условиях.



    В видео рассмотрено:
    • Вывод результатов в разные файлы с разными именами используя переменные
    • Вывод результатов для каждого файла отдельно по определенному условию
    • Вывод результатов для двух файлов с условием, используя массив
    Полезные ссылки:
    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

    [​IMG]
     
  15. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник рецептов #41: Google таблицы, отправка писем и авторизация с помощью puppeteer

    Представляем 41-й сборник рецептов, который полностью посвящен использованию различных Node.js модулей в A-Parser.
    • Работа с Google таблицами
    • Отправка писем из А-Парсера
    • Авторизация с помощью puppeteer
    Сохранение результатов в Google SpreadSheets

    Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.

    [​IMG]

    Отправка почтовых писем

    Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.

    [​IMG]

    Авторизация на GitHub с использованием puppeteer

    Еще один пример по заявкам наших пользователей, демонстрирующий загрузку страницы, авторизацию на ресурсе и простую навигацию.

    [​IMG]


    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG]
     
  16. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    1.2.912 - обновление NodeJS, повышение производительности, адаптация к изменениям в рекаптчах

    [​IMG]

    Мы завершили переход на NodeJS в качестве основного движка для парсеров и представляем новую стабильную версию 1.2.912 с поддержкой NodeJS 14.2.0. Данное обновление сочетает в себе множество улучшений, включая повышение производительности, уменьшение потребления памяти, полностью новый сетевой стек, а также поддержку нативных NodeJS модулей, позволяющую использовать всю мощь каталога npmjs в A-Parser'е

    Также в данное обновление включены изменения по работе с ReCaptcha2 в парсере Google, наша команда одна из первых нашла решение по обходу новой версии рекаптчи и протестировала его совместно с сервисом RuCaptcha, за что им отдельный респект. На данный момент корректный обход каптчи протестирован с RuCaptcha, Anti-Captcha, XEvil и CapMonster.

    Помимо этого было произведено множество оптимизаций в ядре A-Parser'а, значительно увеличилась производительность при использовании большого числа заданий или больших списков прокси. Парсер [​IMG] Rank::CMS был полностью переписан и стабилизирован, добавлена поддержка нового формата apps.json и поддержка пользовательских правил.

    Улучшения
    • NodeJS обновлен до v14.2.0, v8 до 8.1
    • Добавлена поддержка параметра data-s в рекаптчах для [​IMG] SE::Google, также добавлена опция ReCaptcha2 pass proxy
    • Увеличен лимит потоков до 10000 для OS Windows
    • Значительно улучшена производительность при большом числе активных прокси и/или заданий, полностью переписан стек по работе с прокси, оптимизирована работа с большими списками
    • Добавлен новый парсер [​IMG] Rank::KeysSo
    • Полностью переписаны на JS [​IMG] SE::Yahoo::Suggest, [​IMG] Rank::Alexa::API и [​IMG] Rank::Archive
    • Улучшена производительность при использовании регулярных выражений, а также улучшена совместимость
    • В [​IMG] SE::Google::KeywordPlanner добавлено автоматическое получение токена
    • В [​IMG] SE::Bing добавлена возможность парсить ссылки на кэшированные страницы, а также добавлена возможность парсить мобильную выдачу
    • В парсере [​IMG] Util::ReCaptcha2 при выборе провайдера Capmonster или Xevil теперь необязательно указывать Provider url
    • В [​IMG] SE::Google::Trends добавлена возможность указывать произвольный диапазон дат
    • В [​IMG] Rank::CMS добавлен выбор движка регулярок и поддержка собственного файла с признаками
    • В [​IMG] SE::Yandex::ByImage добавлена опция Don't scrape if no other sizes, которая позволяет отключить сбор результатов, если искомой картинки нет в других размерах
    • [NodeJS] Добавлена защита от бесконечных циклов и долгих регулярок
    • [NodeJS] Исправлена работа this.cookies.getAll()
    • [JS парсеры] Добавлена опция follow_meta_refresh для this.request
    • [JS парсеры] Добавлена опция bypass_cloudflare для this.request
    • [JS парсеры] Underscore заменен на Lodash
    • [JS парсеры] В логе добавлена пометка при вызове других парсеров
    • [JS парсеры] Использование предыдущего прокси после запроса к другому парсеру
    • [JS парсеры] Добавлен метод destroy()
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен баг, из-за которого игнорировался выбранный проксичекер
    • Исправлена работа функций Decode HTML entities и Extract domain в Конструкторе результатов
    • Исправлена проблема с определением кодировки
    • Исправлена ошибка использования $tools.query
    • Исправлен баг в Rank::MajesticSEO при котором использовались все попытки при отсутствии результатов
    • Исправлена работа http2
    • Исправлена ошибка, когда парсер падает из-за невозможности писать в alive.txt
    • Исправлено разгадывание каптч в SE::Yandex::Register и Check::RosKomNadzor
    • Исправлена разница в запросах, отправляемых через Net::HTTP и JS
    • Исправлен баг в SE::Yahoo
    • Исправлены ошибки в Rank::CMS при выборе приложения без категории
    • [NodeJS] Исправлен подсчет времени исполнения кода парсера
    • [JS парсеры] При пустом body не передавался заголовок content-length при post запросе
    • [JS парсеры] Исправлена работа CloudFlare bypass
    • [JS парсеры] Исправлена работа с сессиями
    • [JS парсеры] Исправлена работа с overrides для this.parser.request
    • [JS парсеры] Исправлена ошибка определения кодировки в JS парсерах

    [​IMG]
     
    Последнее редактирование: 13.06.20
  17. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник рецептов #42: поиск битых ссылок, сервисы статистики и коммерциализация запросов

    Представляем 42-й сборник рецептов, в котором собраны парсеры для определения наличия на сайте битых ссылок, сбора данных об используемых сервисах статистики и определения коммерциализации ключевых слов.

    Парсер Ahrefs::BrokenLink

    Ahrefs Broken Link Checker - это сервис, позволяющий определить наличие битых ссылок на сайте, а также некоторую другую полезную информацию.

    [​IMG]

    Парсер builtwith.com

    Этот парсер собирает данные об используемых на сайтах сервисах статистики с ресурса BuiltWith. С его помощью можно получить список id используемых сервисов статистики, а также список других сайтов, на которых используются эти же id.

    [​IMG]

    Определение коммерциализации запроса

    Способ определения степени коммерциализации ключевых слов, основанный на анализе поисковой выдачи Яндекса. Оценивается количество вхождений определенного списка слов в анкорах и сниппетах ТОП10 выдачи.

    [​IMG]
    Кроме этого:
    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG]
     
  18. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Видео урок: где смотреть переменные, скрытые переменные и какой результат они выводят (примеры)

    В этом видео рассмотрели где смотреть переменные, какие бывают скрытые переменные и какой результат они выводят на примерах.



    Содержание видео:
    00:20 - 1. Где смотреть какие у парсера есть переменные?
    1:16 - 2. Какие бывают скрытые переменные ($query.*, $root и т.п.)?
    1:22 - переменная root
    2:08 - переменная root объект
    3:14 - переменная query.orig
    4:04 - переменная query.first
    5:24 - переменная query.lvl
    5:50 - переменная query.prev
    6:20 - переменная query.num

    Все возможные методы TT для работы с обьектами
    Форматирование запросов (шаблоны)

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

    [​IMG]
     
  19. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    1.2.948 - новые парсеры SecurityTrails IP и Domain, поддержка доменных прокси, множество исправлений
    [​IMG]
    Улучшения
    • Добавлен парсер [​IMG] Rank::MOZ.
      Собираемые данные: вся информация, содержащаяся на странице.
    • Добавлены парсеры [​IMG] SecurityTrails:: Domain и [​IMG] SecurityTrails::IP.
      Для работы парсеров необходимо указать пресет [​IMG] Util::ReCaptcha2.
      • [​IMG] SecurityTrails::IP
        В качестве запроса следует указывать ipv4 адрес.
        Собирает домены по IP и информацию о них.
      • [​IMG] SecurityTrails:: Domain
        В качестве запроса следует указывать домен, например a-parser.com.
        Собираемые данные:
        • Данные по DNS
        • Список технологий, используемых на сайте (движки и проч.)
        • Список открытых портов
        • Alexa rank
        • Страна
        • Хостер
        • Даты начала и окончания регистрации
        • Whois статус
        • Регистратор
        • Список исторических данных по DNS
        • Список субдоменов
    • Добавлена возможность отключать валидацию TLS сертификатов.
    • Добавлена поддержка доменных прокси.
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена ошибка в алгоритме автовыбора домена в [​IMG] SE::Yandex.
    • Исправлена работа [​IMG] Rank::MajesticSEO, [​IMG] SE::Bing::Translator.
    • Исправлена ошибка, если файл config.txt был сохранен в кодировке utf-8 с BOM (парсер некорректно читал файл).
    • Решена проблема с переопределениями опций в парсере [​IMG] HTML::LinkExtractor.
    • NodeJS: новые установленные модули теперь доступны до перезагрузки A-Parser'a.
    • Исправлено падение парсера при вызове метода getProxies.

      [​IMG]
     
  20. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник статей #12: скорость работы парсеров, debug режим и работа с куками

    В 12-м сборнике статей рассказывается о принципах работы парсеров и факторах, влияющих на их скорость, показаны возможности debug режима в Тестовом парсинге по отладке запросов, а также на реальном примере разбирается работа с куками.

    Скорость и принцип работы парсеров

    В этой статье подробно рассказано об основном принципе работы парсеров и скорости их работы, а также рассмотрены основные факторы, влияющие на скорость парсинга.

    [​IMG]

    Использование Debug режима

    В этой статье рассказывается об одном из методов отладки парсеров, а также об анализе получаемых данных - debug режиме в Тестовом парсинге. С его помощью можно прямо в парсере анализировать и экспериментировать с заголовками и изучать приходящие в ответ данные.

    [​IMG]

    Работа с куками и заголовками на примере соглашения с правилами сайта auto.ru

    А в этой статье на реальном примере показана работа с куками сайта: рассказано как определять необходимость передавать куки и как искать только необходимые для запроса куки. При этом показаны два варианта: простые запросы средствами А-Парсера и использование NodeJS модуля puppeteer.

    [​IMG]

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники статей

    [​IMG]
     

Поделиться этой страницей