A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Дайджест новостей A-Parser

Norton SafeWeb

Новый парсер в Каталоге примеров, позволяет проверять насколько безопасны сайты для посещения по данным компании Norton.



Google Finance

Еще одна новинка в Каталоге примеров: парсер для поиска акций, биржевых фондов и других активов через сервис Google Finance.



Парсер vseinstrumenti.ru

И еще один новый парсер в Каталоге - парсер для сбора данных о товарах на сайте vseinstrumenti.ru.



Обновление ранее опубликованных примеров

• Парсер prom.ua: адаптация к изменениям на ресурсе
  
• Сбор ссылок с GET параметрами: актуализация пресета, SE::Google::Modern заменен на SE::Google

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Дайджест новостей A-Parser

Генератор картинок BlinkShot

Парсер для сервиса BlinkShot, который генерирует изображений почти в реальном времени с минимальными задержками и без цензуры.



Парсер tgstat.ru

Парсер информации из tgstat.ru. Состоит из 2-х пресетов: парсер ссылок из категорий tgstat.ru и парсер информации со страниц каналов и чатов.



Парсер habr.com

Парсер постов на habr.com. Собирает информацию о постах по ключевым словам с проходом по пагинации и возможностью сортировки.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Дайджест новостей A-Parser

Sucuri sitecheck
Парсер для проверки безопасности сайта через сервис Sucuri. В качестве запросов принимает домены, а в результат по-умолчанию выводит рейтинг, список черных списков, в которых числится домен, информацию о сертификате, список IP, CDN и конечный URL редиректа.


Разбивка результата по времени
Пример шаблона для Формата имени файла результата, который создает новый файл результата каждые N секунд.


Парсер prom.ua
Обновление парсера для парсинга товарных позиций prom.ua. Исправлены следующие ошибки:

• Когда парсер находит 0 товаров, он идет на новую попытку
• Когда доходит до последней страницы, парсинг останавливается

Генератор картинок BlinkShot
Обновление парсера для сервиса blinshot.io. Реализованы следующие изменения:

• Добавлен Consistency mode
• API запрос адаптирован к изменениям

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Видео урок: разбивка результата по времени и числу строк

Новые видео по работе с A-Parser от DIM STUDIO:

В первом видео показано, как использовать A-Parser для разбивки результата по времени. Готовый пресет доступен здесь.


Второе видео демонстрирует метод разбивки результата по числу строк. Готовый пресет доступен здесь.


Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

1.2.2502 - множество багфиксов, добавлена поддержка нового сервиса разгадывания каптч



Улучшения

• В парсерах Rank::Ahrefs::* добавлен параметр Additional headers, с его помощью можно добавлять заголовки к запросу
• Добавлена поддержка сервиса NextCaptcha в парсеры Util::* Сервис поддерживает работу с hCaptcha, ReCaptcha2 и ReCaptcha3
  
• В Rank::CMS теперь по-умолчанию RegExp engine = RE2
  
• В Rank::Ahrefs добавлена обработка доменов, по которым нету информации

Исправления в связи с изменениями в выдаче

• Shop::Amazon некорректно выводил количество продаж
• Исправлена ошибка App ID not found в Social::Instagram::Tag
  
• В SE::Google исправлен парсинг при Serp type = News, а также в целом парсер адаптирован к изменениям в выдаче
  
• Исправлена работа SE::Startpage
• Исправлена работа SecurityTrails:: Domain с опцией Mode = DNS Records
• В Shop::Yandex::Market исправлен проход по пагинации и парсинг наименований товаров
  
• В SE::Google::Images исправлены проход по пагинации и ошибка при парсинге с выбором размера

Исправления

• В парсерах SE::Google::KeywordPlanner::* исправлена авторизация в некоторых случаях
• Исправлена логика выбора прокси после подзапросов к парсерам (например, при обращении к парсеру каптч из основного парсера)
  
• Исправлена ошибка при работе с капчей в SE::Yandex, которая появилась из-за изменений в API одного из используемых в Util::AntiGate модулей
  
• Исправлена загрузка больших списков прокси
  
• Исправлена работа опции Collect full region в Maps::Google
• Исправлена работа Rank::CMS в некоторых случаях

 

Видео урок: установка A-Parser на Linux с использованием Docker

В этом видео рассмотрено установку A-Parser на Linux с использованием Docker.



Содержание:

• Действия перед установкой
• Установка Docker
• Загрузка и распаковка дистрибутива A-Parser
• Запуск с логом и в фоне
• Просмотр файла лога
• Запуск используя docker-compose

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!



В честь Cyber Monday мы запускаем специальные промокоды:

• 2 и 3 декабря — скидка 30% на все лицензии A-Parser
  Промокод: CBRWEEK2024-30%-OFF
• С 4 по 8 декабря — скидка 20% на все лицензии A-Parser
  Промокод: CBRWEEK2024-20%-OFF
• С 2 по 8 декабря — скидка 15% на все дополнительные услуги, включая прокси, заказ парсеров, дополнительные лицензии и т.д.
  Промокод: CBRWEEK2024-ALL15%-OFF

Купить A-Parser со скидкой можно по ссылке: https://a-parser.com/pages/buy/

Присоединяйтесь в наш Telegram-чат, чтобы быть в курсе всех обновлений, задавать вопросы и получать помощь от экспертов и пользователей сообщества.

 

Дайджест новостей A-Parser
Проверка наличия сайта на Miralinks
Новый пример в Каталоге: пресет для проверки доменов на наличие на бирже Miralinks, который проверяет, есть ли домен на Miralinks, выгружает его стоимость и ссылку на профиль на бирже.

Парсер Aliexpress товаров
Обновление парсера, позволяющего получать информацию о товаре на AliExpress, подавая в качестве запроса ссылку на товар.

• Адаптация к изменениям на ресурсе

JS::TitleParser
Обновление базового примера для парсинга HTML тега title на произвольной странице.

• Парсер переписан на JS API v2
• Добавлено поле для указания юзер-агента

Парсинг данных о Youtube канале
Обновление парсера данных о Youtube каналах.

• Исправлен сбор данных
• Адаптация к изменениям в верстке
• Убран сбор данных о монетизации, т.к. известный метод определения больше не работает

Google Products
Обновление парсера товаров из Google выдачи.

• Ссылка на сайт теперь берется из названия магазина

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Дайджест новостей A-Parser

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта

Обновление парсера сервиса zerogpt.com. С помощью него можно проверять грамматику и орфографию, а также определять использование ИИ в текстах.

• Добавлено использование браузера при Mode = AI Grammar & Spell Checker
• Добавлена опция Browser Headless которая включает и отключает отображение интерфейса браузера

Парсер HypeStat

Обновление парсера сервиса статистики и аналитики веб-сайтов HypeStat.

• Исправлен сбор результатов
• Некоторые результаты вынесены из массивов в обычные (плоские) результаты

Сокращатель ссылок

Обновление парсера для массового сокращения ссылок с возможностью выбирать используемый сервис.

• Исправлены: 1pt.co, clck.ru, urlshort.dev
• Отключен gg.gg, т.к. сервис не работает

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

1.2.2573 - новый парсер отзывов из Google карт, оптимизации работы встроенных парсеров, багфиксы



Улучшения

• Добавлен новый парсер Maps::Google::Reviews, который позволяет парсить отзывы к местам на Google картах
• Парсер SE::Bing полностью переписан, полный список изменений тут
• Добавлены альтернативные сервера авторизации для пользователей из РФ
• Улучшена работа Shop::Amazon: значительно снижена вероятность бана
• Улучшена работа Util::Antigate: теперь манипуляции с картинками каптч занимают меньше времени и потребляют меньше ресурсов
  
• Улучшена работа HTML::TextExtractor::LangDetect: обновлен модуль определения языка и оптимизирован алгоритм работы
  
• SE::Yandex::Speller теперь может принимать на вход как ссылки, так и ключевые слова (тексты)
  
• В Reddit:: Posts добавлена опция Use HTTP/2 transport
  
• Улучшение скорости работы parser.request и API::Server::Redis (будет заметно при большой интенсивности запросов и большом размере самих запросов(от 10кб))

Исправления в связи с изменениями в выдаче

• Social::Instagram::Geo - исправлена проблема Content mismatch при определенных запросах
• Shop::Amazon - адаптация к изменениям в верстке, исправлена работа при Domain=United Kingdom
• Social::Instagram:: Post - исправлена ошибка при сборе $video_link
  
• Исправлена работа SE::Quora, теперь требуется указывать куки авторизованного аккаунта, подробнее тут
• Исправлена работа Social::TikTok:: Profile
• Исправлен SE:: DuckDuckGo

Исправления

• SE::Yandex - исправлена поддержка puzzle каптчи при Engine=Browser
  
• Rank::CMS - исправлена ошибка, возникающая для некоторых технологий
• Исправлен Cloudflare::Radar

 

1.2.2596 - обход новой проверки Google, несколько других исправлений



Примерно с вечера 15 января Google поиск начал требовать в обязательном порядке включенный JavaScript и включил дополнительную проверку. Из-за это перестали работать существующие парсеры Google, проблема затронула даже такие крупные сервисы, как Similarweb.

Мы также начали получать множество сообщений о проблеме с парсером Google, и сразу взялись за ее решение. Первый, временный, фикс был выпущен уже на следующий день. После этого было еще несколько исправлений, а финальное решение стало доступным 20 января.

После нескольких дней тестирования было решено сделать внеочередной релиз, чтобы у пользователей на stable канале обновлений также возобновилась возможность парсить Google.


Кроме этого в релиз вошли следующие изменения:

• В парсерах OpenAI::* теперь можно указывать API domain с протоколом (http/https)
• Исправлена ошибка инициализации Util::AntiGate в некоторых окружениях
• Исправлена работа Social::Instagram::Search
• Исправлена проблема, из-за которой в Social::Instagram::Geo собиралось только 24 поста

 

Дайджест новостей A-Parser

Выгрузка кликов из GSC
Новый парсер от пользователя @seohive. С его помощью можно выгружать из Google Search Console статистику по кликам в проекте. Выгружает брендовые и все клики. Можно отдельно указать маску url и выгрузить клики определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.

Выгрузка поискового трафика из Яндекс Метрики
Еще один новый парсер от пользователя @seohive. С его помощью можно выгружать из Яндекс Метрики статистику по трафику из поисковых систем. Выгружает трафик из Яндекс, Google и небрендовый из Яндекс. Можно отдельно указать маску url и выгрузить трафик определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.

Выгрузка данных по позициям из Topvisor
И еще один новый парсер от @seohive. С его помощью можно выгружать из проекта в Topvisor статистику по позициям в проекте. Выгружает по группам и конкурентам количество запросов всего, в ТОП 3, ТОП 10 и ТОП 30 по датам. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.

Работа парсера SE::Google
Напоминаем, что недавно Google ввел дополнительную проверку на включенный JS в поиске, из-за чего нарушилась работа многих парсеров и сервисов. Мы оперативно выпустили обновление для SE::Google и постоянно продолжаем отслеживать изменения. После выпуска stable версии у гугла были еще изменения, поэтому (на момент публикации новости) для корректной работы парсера Google нужно обновиться на последнюю beta версию.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Новое видео по работе с A-Parser от DIM STUDIO в котором показаны способы форматирования результатов в CSV, HTML и JSON.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

​

 

Дайджест новостей A-Parser
Meta Ad Library
Новый парсер в каталоге: парсер библиотеки рекламы Meta (Facebook, Instagram, Whatsapp...). Позволяет собирать количество рекламных объявлений по ключевому слову с учетом заданных фильтров и массив рекламных объявлений.
Парсер поиска Телеграм постов по ключевым словам с tgdev.io/tme
Обновление одноименного парсера.

• Убраны не актуальные опции, убрано решение каптчи
• Исправлен сбор результатов

Парсинг объявлений из olx.ua/olx.pl/olx.kz
Обновление парсера данных из объявлений на OLX

• Исправлен парсинг номеров телефонов
• Исправлен парсинг кол-ва просмотров

JS::SE::Yandex:osition::ByRegion
Обновление парсера для проверки позиций сайтов в поисковой выдаче Яндекс сразу по нескольким регионам

• Парсер переписан на JS API v2 (TS)
• Вместо выбора пресета настроек теперь используется наследование от /img/parsers/se-yandex-position.png SE::Yandex:osition
• В парсере теперь используется новый, более полный и актуальный справочник регионов

Подсказки Google Play
Обновление парсера подсказок магазина Google Play

• Адаптация к изменениям на источнике

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

1.2.2640 - новый парсер скриншотов, оптимизации и исправления встроенных парсеров, интерфейса и API



Улучшения

• Добавлен новый парсер - Browser::ScreenshotsMaker
  
• Исправлен и улучшен парсинг генеративных ответов в SE::Yandex
• В SE::Google::Translate улучшен перевод в Desktop режиме
  
• В SE::Bing добавлена возможность указывать язык результатов
  
• В Net::HTTP для Engine=Chrome добавлен $response.Time
  
• IP::Info - добавлена переменная $ip
  
• Обновлен список стран в парсерах Ahrefs
  
• На карточках заданий в очереди даты теперь выводятся с годом

Исправления в связи с изменениями в выдаче

• Окончательно реализован обход проверки на JS в SE::Google
• Исправлена ситуация когда в SE::Yandex при Engine=Browser выдача ошибочно определялась как каптча
  
• Исправлено авторазгадывание в Util::Turnstile
• Исправлен парсинг PAA в SE::Google
• Исправлена работа Reddit:: Posts
• Исправлена ситуация с попаданием рекламы в результаты Shop::Amazon, а также исправлен сбор $commentscount
  
• Исправлен сбор некоторых данных в Social::Instagram:: Post

Исправления

• SE::Google - исправлена проблема утечки памяти связанной с использованием Playwright
• SE::Google::KeywordPlanner::SearchVolume - исправлено определение $volume_type
  
• Maps::Google - исправлена работа с опцией Collect full region в некоторых случаях
  
• Исправлена ситуация, когда в пресете настроек SE::Yandex не сохранялся Region of serp
  
• API: исправлена работа метода changeProxyCheckerState
• API: исправлена ошибка из-за которой при использовании метода getAccountsCount парсер падал, если аккаунтов 0

Новые тарифы для Premium прокси с лучшими ценами на рынке

Добавлены три новых тарифа для Premium прокси с самой низкой стоимостью за гигабайт.

Тарифы:

• Proxies PremiumMix 500 ГБ / 1 месяц – $300 ($0.6 / ГБ)
• Proxies PremiumMix 1000 ГБ / 1 месяц – $500 ($0.5 / ГБ)
• Proxies PremiumMix 3000 ГБ / 1 месяц – $1200 ($0.4 / ГБ)

Эти тарифы включают все преимущества Premium-тарифов, за исключением гео-таргетинга:

• Доступ к базе из более чем 10 миллионов резидентных IP-адресов
• Высокая скорость отклика
• Гибкие настройки ротации (случайный IP на каждый запрос, ротация от 1 до 60 минут, режим Sticky)
• Подходят для браузинга и парсинга, с минимальным количеством CAPTCHA и блокировок

Дополнительная скидка 10% при оплате USDT/BTC/ETH/...

Купить Premium прокси можно в Личном кабинете по ссылке: https://a-parser.com/pages/members-area/

 

Дайджест новостей A-Parser

Парсинг расшифровки Youtube видео
Новый пресет в Каталоге, в котором показан способ парсинга расшифровки Youtube видео с использованием встроенного парсера SE::YouTube::Video. Решение основано на выводе собираемых результатов в том виде, в котором они отображаются в браузере.
Парсер всех видео с Youtube канала
Обновление парсера для сбора списка видео (с их характеристиками) из Youtube каналов

• Исправлена работа с каналами, у которых всего 1 вкладка
• Добавлена обработка Shorts, если они выдаются вместе с видео (или вместо видео)
• Добавлена обработка случаев, когда канал не существует
• Исправлен обход окна соглашения, которое появляется при запросах с IP некоторых стран
• Исправлена логика повторных попыток, в некоторых случаях парсер их не делал

Парсинг популярных запросов за сутки Google Trends
Обновление парсера для сбора трендовых поисковых запросов из Google Trends

• Парсер полностью переписан в связи с изменениями на источнике
• Изменен набор собираемых данных
• Изменен список параметров

Парсинг объявлений из olx.ua/olx.pl/olx.kz
Очередное обновление парсера данных из объявлений на OLX

• Исправлен парсинг номеров телефонов

Парсинг Авито
Обновление парсера объявлений Аvito

• Исправлена работа парсера

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Дайджест новостей A-Parser

Для PremiumMix прокси добавлены 3 новых недельных тарифа

• Proxies PremiumMix 50 Gb / 1 week ($0.9 / Gb) - $45
• Proxies PremiumMix 100 Gb / 1 week ($0.8 / Gb) - $80
  
• Proxies PremiumMix 200 Gb / 1 week ($0.7 / Gb) - $140

Данные тарифы имеют все преимущества Premium тарифов, за исключением возможности гео-таргентинга:

• База более 10 миллионов резидентных (домашних) IP адресов
• Быстрое время отклика
• Настройки ротации, включая случайный IP на каждый запрос и ротацию от 1 до 60 минут, а также режим Sticky. В режиме Sticky прокси не будет менять IP максимально возможное время
• Подходит для браузинга и парсинга, с практически полным отсутствием CAPTCHA и банов

Оплата онлайн на a-parser.com. Дополнительная скидка 10% при оплате USDT/BTC/ETH/...

Парсер переводчика Libre Translate
Обновление переводчика Libre Translate, который использует API машинного перевода с открытым исходным кодом

• Адаптация к изменениям в защите

Парсинг статистики с Social Blade
Обновление парсера сервис Social Blade, который отслеживает статистику пользователей YouTube, Twitch, Instagram, Facebook и Tiktok.

• Парсер полностью переписан в связи с изменениями на источнике
• Добавлен выбор социальной сети, для которой нужно парсить данные
• Добавлена возможность указать кол-во страниц с результатами (100 результатов на страницу)
• Изменен набор собираемых данных

Парсер Яндекс Кью
Обновление парсер для сервиса Яндекс Кью, который позволяет собирать списки вопросов и ответов к ним

• Адаптация к изменениям на источнике
• Возвращен выбор типа результатов (вопросы/ответы)
• Парсер переписан на TypeScript

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.