A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Дайджест новостей A-Parser

Norton SafeWeb

Новый парсер в Каталоге примеров, позволяет проверять насколько безопасны сайты для посещения по данным компании Norton.



Google Finance

Еще одна новинка в Каталоге примеров: парсер для поиска акций, биржевых фондов и других активов через сервис Google Finance.



Парсер vseinstrumenti.ru

И еще один новый парсер в Каталоге - парсер для сбора данных о товарах на сайте vseinstrumenti.ru.



Обновление ранее опубликованных примеров

• Парсер prom.ua: адаптация к изменениям на ресурсе
  
• Сбор ссылок с GET параметрами: актуализация пресета, SE::Google::Modern заменен на SE::Google

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Дайджест новостей A-Parser

Генератор картинок BlinkShot

Парсер для сервиса BlinkShot, который генерирует изображений почти в реальном времени с минимальными задержками и без цензуры.



Парсер tgstat.ru

Парсер информации из tgstat.ru. Состоит из 2-х пресетов: парсер ссылок из категорий tgstat.ru и парсер информации со страниц каналов и чатов.



Парсер habr.com

Парсер постов на habr.com. Собирает информацию о постах по ключевым словам с проходом по пагинации и возможностью сортировки.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Дайджест новостей A-Parser

Sucuri sitecheck
Парсер для проверки безопасности сайта через сервис Sucuri. В качестве запросов принимает домены, а в результат по-умолчанию выводит рейтинг, список черных списков, в которых числится домен, информацию о сертификате, список IP, CDN и конечный URL редиректа.


Разбивка результата по времени
Пример шаблона для Формата имени файла результата, который создает новый файл результата каждые N секунд.


Парсер prom.ua
Обновление парсера для парсинга товарных позиций prom.ua. Исправлены следующие ошибки:

• Когда парсер находит 0 товаров, он идет на новую попытку
• Когда доходит до последней страницы, парсинг останавливается

Генератор картинок BlinkShot
Обновление парсера для сервиса blinshot.io. Реализованы следующие изменения:

• Добавлен Consistency mode
• API запрос адаптирован к изменениям

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Видео урок: разбивка результата по времени и числу строк

Новые видео по работе с A-Parser от DIM STUDIO:

В первом видео показано, как использовать A-Parser для разбивки результата по времени. Готовый пресет доступен здесь.


Второе видео демонстрирует метод разбивки результата по числу строк. Готовый пресет доступен здесь.


Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

1.2.2502 - множество багфиксов, добавлена поддержка нового сервиса разгадывания каптч



Улучшения

• В парсерах Rank::Ahrefs::* добавлен параметр Additional headers, с его помощью можно добавлять заголовки к запросу
• Добавлена поддержка сервиса NextCaptcha в парсеры Util::* Сервис поддерживает работу с hCaptcha, ReCaptcha2 и ReCaptcha3
  
• В Rank::CMS теперь по-умолчанию RegExp engine = RE2
  
• В Rank::Ahrefs добавлена обработка доменов, по которым нету информации

Исправления в связи с изменениями в выдаче

• Shop::Amazon некорректно выводил количество продаж
• Исправлена ошибка App ID not found в Social::Instagram::Tag
  
• В SE::Google исправлен парсинг при Serp type = News, а также в целом парсер адаптирован к изменениям в выдаче
  
• Исправлена работа SE::Startpage
• Исправлена работа SecurityTrails:: Domain с опцией Mode = DNS Records
• В Shop::Yandex::Market исправлен проход по пагинации и парсинг наименований товаров
  
• В SE::Google::Images исправлены проход по пагинации и ошибка при парсинге с выбором размера

Исправления

• В парсерах SE::Google::KeywordPlanner::* исправлена авторизация в некоторых случаях
• Исправлена логика выбора прокси после подзапросов к парсерам (например, при обращении к парсеру каптч из основного парсера)
  
• Исправлена ошибка при работе с капчей в SE::Yandex, которая появилась из-за изменений в API одного из используемых в Util::AntiGate модулей
  
• Исправлена загрузка больших списков прокси
  
• Исправлена работа опции Collect full region в Maps::Google
• Исправлена работа Rank::CMS в некоторых случаях

 

Видео урок: установка A-Parser на Linux с использованием Docker

В этом видео рассмотрено установку A-Parser на Linux с использованием Docker.



Содержание:

• Действия перед установкой
• Установка Docker
• Загрузка и распаковка дистрибутива A-Parser
• Запуск с логом и в фоне
• Просмотр файла лога
• Запуск используя docker-compose

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!



В честь Cyber Monday мы запускаем специальные промокоды:

• 2 и 3 декабря — скидка 30% на все лицензии A-Parser
  Промокод: CBRWEEK2024-30%-OFF
• С 4 по 8 декабря — скидка 20% на все лицензии A-Parser
  Промокод: CBRWEEK2024-20%-OFF
• С 2 по 8 декабря — скидка 15% на все дополнительные услуги, включая прокси, заказ парсеров, дополнительные лицензии и т.д.
  Промокод: CBRWEEK2024-ALL15%-OFF

Купить A-Parser со скидкой можно по ссылке: https://a-parser.com/pages/buy/

Присоединяйтесь в наш Telegram-чат, чтобы быть в курсе всех обновлений, задавать вопросы и получать помощь от экспертов и пользователей сообщества.

 

Дайджест новостей A-Parser
Проверка наличия сайта на Miralinks
Новый пример в Каталоге: пресет для проверки доменов на наличие на бирже Miralinks, который проверяет, есть ли домен на Miralinks, выгружает его стоимость и ссылку на профиль на бирже.

Парсер Aliexpress товаров
Обновление парсера, позволяющего получать информацию о товаре на AliExpress, подавая в качестве запроса ссылку на товар.

• Адаптация к изменениям на ресурсе

JS::TitleParser
Обновление базового примера для парсинга HTML тега title на произвольной странице.

• Парсер переписан на JS API v2
• Добавлено поле для указания юзер-агента

Парсинг данных о Youtube канале
Обновление парсера данных о Youtube каналах.

• Исправлен сбор данных
• Адаптация к изменениям в верстке
• Убран сбор данных о монетизации, т.к. известный метод определения больше не работает

Google Products
Обновление парсера товаров из Google выдачи.

• Ссылка на сайт теперь берется из названия магазина

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.