A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Видео урок: Сбор форм комментариев с помощью A-Parser

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан сбор форм комментариев.



Данный видео урок показывает, как собрать сайты, где можно оставить свой комментарий в форму комментирования статей.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

Обновленные пресеты в каталоге A-Parser ч.2

Парсинг количества трафика на сайтах
Данный парсер позволяет собирать данные о посещаемости сайтов за день, неделю, месяц, тесты, параметры домена, техническое состояние, внутреннюю оптимизацию.

Сохранение в результатах TOP-3 Google
Пресет сохраняет первые ТОП-3 сниппета выдачи Google.

Парсер Яндекс Кью
Парсер собирает список вопросов по запросам и ответы к ним. Для каждого вопроса, кроме ответа, собираются данные о рейтинге, дате публикации, авторе, просмотрам и т.д.

JS::MailValidator
Проверка существования e-mail адресов. Поддерживаются 9 почтовых сервисов: Gmail, Outlook, Yandex, Rambler, Yahoo, Mail.ru, GMX, AOL, iCloud


Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

1.2.1770 - 3 новых парсера, адаптация существующих парсеров к изменениям, исправления ошибок



Улучшения

• Добавлены новые парсеры:
  • Rank::Ahrefs::BrokenLinks - сбор кол-ва и списка (топ10) битых входящих и исходящих ссылок
  • Rank::Ahrefs::TrafficChecker - оценка трафика, сбор истории трафика и списков ключевых слов, страниц и стран с наибольшим трафиком
    
  • SE::Quora - парсинг поисковой выдачи Quora по ключевому слову с возможностью выбирать тип и время результата
• Обновлен список регионов в парсерах Яндекс, убраны регионы, на которых поиск больше невозможен. В частности из-за того, что по-умолчанию был выбран регион Россия, парсер работал очень плохо, почти постоянно получая каптчи, т.к. данный регион больше не доступен для выбора в Яндексе. Также оптимизирован поиск региона при выборе в combobox.
• Улучшена обработка Node-модулей (в некоторых случаях использовалась неверная версия)
  
• JS парсеры: this.logger.put и this.logger.debug форматируют вывод аналогично console.log, благодаря чему теперь выводить объекты можно без использования JSON.stringify

Исправления в связи с изменениями в выдаче

• Исправлен парсинг PAA в SE::Google
• В SE::Google::Cache исправлена ошибка, из-за которой отсутствовали результаты по некоторым запросам
• Исправлен GooglePlay::Apps, изменен набор собираемых данных
• Исправлена работа Net::Whois с доменной зоной .fr
• В SE::Yandex::SQI убраны переменные $user_choice и $popular, т.к. эти данные больше не отдаются
• Check::RosKomNadzor, Shop::Wildberries:roductsList, Shop::Wildberries:roductInfo, Rank::Ahrefs, Rank::Ahrefs::KeywordDifficulty, SE::Google::Images, Rank::MajesticSEO

Исправления

• В SE::Yandex исправлена ошибка с определением бана на мобильной верстке
• В SE::Google::Translate теперь headless включен по-умолчанию
• Исправлена проблема с русскоязычными именами файлов в функции Запустить по завершению

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

 

Видео урок: Ищем продвигаемые ссылки в отчётах Xrumer c помощью парсера Check::BackLink

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показано, как искать продвигаемые ссылки в отчётах Xrumer c помощью парсера Check::BackLink



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

1.2.1794 - поддержка Cloudflare Turnstile, множество исправлений во встроенных парсерах

Улучшения

• Добавлен парсер для разгадывания каптч Cloudflare Util::Turnstile
• Добавлен парсер для отправки сайтмапов в Google SE::Google::SitemapPing
• В парсеры Util::ReCaptcha2, Util::ReCaptcha3, Util::hCaptcha добавлена поддержка сервиса captchas.io
• В Rank::CMS добавлена возможность выводить $response
• В Cloudflare::Radar добавлена возможность выводить raw data

Исправления в связи с изменениями в выдаче

• Исправлена работа с каптчами в парсерах Яндекс
• Исправлена работа SE::Google::TrustCheck для мобильной выдачи
• Исправлена работа с каптчами в парсерах Ahrefs
• Исправлен парсинг сниппетов в SE::Seznam
• Исправлен парсинг related keywords в SE::Baidu и SE::Bing
• Исправлен парсинг totalcount в SE::Yahoo
• Исправлена работа Check::RosKomNadzor при выборе одного из доменов
• SE::Google, SE::Yandex, SE::Google::Images, SE::Google::ByImage, SE::Bing::Translator, Cloudflare::Radar, Shop::Amazon, Shop::eBay, SE:: Dogpile::Images

Исправления

• Исправлена работа SE::Yandex::ByImage с запросами, содержащими символы кириллицы

 

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг Авито
Парсер площадки объявлении Авито.

• Исправлена работа в связи с изменениями на источнике

Парсер prom.ua
Парсер маркетплейса prom.ua. Позволяет собирать данные из объявлений, включая имена продавцов и номера телефонов.

• Исправлен проход по пагинации и сбор данных со страниц объявлений

Парсер отзывов Wildberries Reviews
Парсер отзывов Wildberries Reviews. Сбор отзывов по товарам с wildberries.ru в csv таблицу

• Исправлена работа парсера

Парсинг ресурса Booking.com
Парсинг ресурса Booking.com, получение результатов поиска квартир и отелей на сайте.

• Поправлены регулярные выражения
• Добавлена возможность задавать нужную валюту

Универсальный чекер апдейтов(текста, цен и т.п.) на страницах с уведомлением в Telegram
Парсер, который позволяет проверять изменения на разных страницах и получать уведомления в Telegram

• Парсер переписан на JS APIv2
• Добавлена возможность проверять значения в заголовках

Парсинг объявлений из olx.ua/olx.pl
Парсер международной площадки объявлений OLX. Позволяет собирать данные из объявлений, включая цены, имена авторов, телефоны, адреса и т.д.

• Реализована автономность в работе с доменными зонами
• Адаптация к изменениям на источнике (включая восстановление возможности сбора телефонов)

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

Кейсы с использованием A-Parser от Ant-Team.ru

Представляем вашему вниманию несколько кейсов от Ant-Team.ru в которых был использован A-Parser.

Что влияет на позиции сайта в Google? Кейс по работе с PBN: растем в 3 раза по трафику и на 345% по позициям



Статья посвящена опыту продвижения сайта в поисковой системе Google работая с PBN (Private Blog Network). В статье представлена детальная инструкция, рассмотрены трудозатраты и показаны скриншоты по позициям и трафику. Также пошагово описан подход к работе со ссылками, показано как собиралась сетка PBN и какие результаты это принесло.

Понятно, что они пишут в большей степени клиентские кейсы, где технической стороне уделяется не так много внимания. Но всё, что они сделали, основано на А-Парсере. Все дропы, которые они собирают, проверяют и агрегируют у себя в базе для последующей обработки, они получают с помощью нашего парсера.

Рекомендуем ознакомиться со статьей и понять, каких результатов можно достичь, используя A-Parser.


ТОП-10 в Google за 35 дней: опыт работы с PBN и подклейкой доменов



Еще один интересный кейс, но уже не по аукционникам, а по реальным дропам, которые можно найти с помощью A-Parser.

Здесь описывается опыт работы с PBN и приводятся советы по использованию этого инструмента для создания качественных обратных ссылок на сайт. Также рассказывается о том, как автор использовал подклейку доменов для улучшения авторитета своего сайта и приводятся советы по выбору подходящих доменов. Кроме того приведены примеры использования A-Parser для автоматизации поиска доменов. А-Parser собирает все внешние ссылки с указанного домена и используется для массовой проверки доступности доменов и получения информации о них.

В статье, как обычно, минимум технической информации, но они активно отвечают на вопросы в комментариях. Если интересно, то спрашивайте, как искать подобные дропы и что для этого нужно. А зачем вообще это делать? Ответ очевиден: взять топ Гугла за 35 дней способен не каждый.

Если вы занимаетесь продвижением сайтов и хотите узнать больше о PBN и подклейке доменов, мы рекомендуем вам прочитать данную статью.

 

Курс по PBN от Ant-Team.ru



Ребята из Ant-Team.ru запустили курс по PBN

Курс полностью основан на A-Parser и разбит на две части: проф. и стандартная.

В профессиональной версии все процессы парсинга полностью автоматизированы и не требуют каких-либо доработок, вплоть до дашбордов с дропами и статистикой по ним.

В стандартной версии Ant-Team научат вас настраивать A-Parser и парсить дропы в ручном режиме.

Набор на курс продлится до 30 марта, но начать обучение можно уже сегодня.

Программа и регистрация по ссылке: https://pbn-course.ru/

 

1.2.1848 - 2 новых парсера, множество улучшений и исправлений во встроенных парсерах



Улучшения

• Добавлены новые парсеры:
  • SE::YouTube::Video - позволяет парсить данные о видео на Youtube (включая субтитры)
  • Rank::BingAnalytics - парсер данных из аналитики Bing в боковой панели Edge
• В связи с неактуальностью удалены следующие парсеры: Rank::Alexa, Rank::Alexa::API, SE::MailRu, SE::MailRu:: Position
  
• Исправлен парсинг вопросов-ответов (PAA) в SE::Google
• Улучшена обработка 404-го кода ответа в Rank::KeysSo
• В Rank::Ahrefs::KeywordDifficulty в переменные добавлен shortage
  
• В Util::Turnstile добавлен провайдер CapSolver
• Во всех парсерах Ahrefs добавлена опция Turnstile pass proxy, подробнее здесь
  
• В парсерах Bukvarix добавлена возможность использовать свой API ключ, дополнительная информация здесь
  
• В Maps::Google добавлена возможность получать ссылку на "Я владелец компании"
  
• В SE::Google::KeywordPlanner добавлена возможность парсить тренды поисковых объёмов, дополнительная информация здесь
  
• Обновлен список языков в DeepL::Translator
• В Social::Instagram:: Profile добавлена возможность парсить с авторизацией
• Улучшено определение наличия кеша в SE::Google::Cache
  
• В Net::Whois добавлен новый метод обработки результатов для некоторых доменных зон
• Продолжается миграция встроенных парсеров на JS APIv2, в этом релизе переписано 10 парсеров

Исправления в связи с изменениями в выдаче

• Исправлена работа SE::Yandex::Register через Chrome, дополнительная информация здесь
• В SE::Google не собирались результаты при типе News, также исправлено получение $totalcount при отсутствии результатов
• Исправлена работа SE::Yandex:: Position при выборе Search sites from (rstr=)
• В Shop::Yandex::Market исправлен парсинг цен
• Исправлены и адаптирован к изменениям на источниках: SE::Google, SE::Yandex::SQI, Rank::KeysSo, Cloudflare::Radar, SE::Quora, SE::Yandex::Translate, Shop::AliExpress, SE::Startpage, Rank::Ahrefs

Исправления

• Исправлено зависание задания во время повторного запуска
  
• Исправлена ошибка с отправкой сообщения о неверно разгаданной каптчи в Util::AntiGate
• В CoinMarketCap::LastPrice был пустой $data
• Rank::Ahrefs::KeywordGenerator не переходил к решению каптчи при определенном формате результата
  
• Исправлена ошибка в SE::Yandex:: Direct::Frequency, из-за которой при использовании аккаунтов все запросы были неудачные
• Исправлен SEO:: Ping
• Исправлено декодирование сущностей в Rank::MOZ
• JS парсеры: исправлен this.utils.urlFromHTML(), не все сущности корректно декодировались

Артур Корсаков запускает мастер-группу по Техническому SEO​

Курс состоит из 3х частей:

• Блок 1
  • Технический аудит сайта,
  • Исследование кода Яндекса,
  • Скрытие ссылок от различных сервисов,
  • Клоакинг для серых ниш.
• Блок 2
  • Парсинг структуры конкурентов,
  • Работа с Chat GPT,
  • Работа с релевантностью.
• Блок 3
  • Настройка программы A-Parser,
  • Создание собственных пресетов,
  • Парсинг тематических дропов с ссылками из Википедии,
  • Работа с ссылочным профилем.

Тем, кто присоединится до пятницы, 31 марта (включительно), получат доступ до июля к эксклюзивной бета-версии закрытого инструмента ГАР (Гибридный анализ релевантности).

В которую уже входят следующие функции:

• Анализ на основе формулы SWBM25 (хитрый BM25 в скользящем окне),
• Рекомендации по микроразметке,
• Семантические Коконы.

Старт планируется 3 апреля!

Подробности по ссылке:
https://vk.com/@-213214163-master-gruppa-po-tehnicheskomu-seo-2023

Чтобы присоединиться нужно написать лично Артуру по любому из контактов:
https://artur2k.ru/about/

 

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг поиска ВК
Сбор результатов поиска в социальной сети Вконтакте.

• Добавлен Check content
• Адаптация к изменениям на источнике

Получение списка пользователей, которые поставили у заданного объекта отметку «Нравится» в VK
Парсер для парсинга списка пользователей, которые лайкнули пост во Вконтакте.

• Переделан в JS парсер
• Адаптация к изменениям на источнике
• Поддержка фото и видео
• Поддержка API: вместо куки remixstid теперь следует использовать ваш ключ доступа (access_token)
• Мелкие правки

Подсказки pornhub
Парсер подсказок сайта для взрослых pornhub.com

• Переделан в JS парсер
• Адаптация к изменениям на источнике

Парсер Яндекс Кью
Парсер для сервиса Яндекс Кью, позволяющий собрать списки вопросов и ответов к ним

• Добавлен парсинг страницы ответов
• Адаптация к изменениям на источнике
• Рефакторинг

JS::Chrome::ScreenshotsMaker
Парсер для создания скриншотов сайтов с использованием puppeteer(Chrome)

• Поддержка pdf формата (возможность сохранять страницы в PDF)

Фильтрация по множеству признаков
Пример фильтрации страниц по большому количеству признаков

• Парсер переписан на JS APIv2
• Исправлен баг с дублированием сигнатур

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

Сборник рецептов #54: Google Shopping, Циан и парсер новостей с автоматическим переводом

54-й сборник рецептов, в котором представлены парсер Google Shopping, парсер базы недвижимости Циан и парсер новостей с автоматическим переводом контента на указанный язык.

Google Products
Парсер товаров по ключевым словам из выдачи Google Shopping


Парсер Циан
Парсер результатов поиска (с возможностью задать любые фильтры) на cian.ru


Парсер новостей inshorts.com с переводом контента
Парсер новостей inshorts.com с переводом контента через переводчик Deepl


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

1.2.1886 - обновление компонентов, новые возможности в работе с аккаунтами Яндекса, фиксы парсеров



Улучшения

• Обновление NodeJS до 18.15, Puppeteer до версии 19.11.0 и Chrome до 112-й версии
• Добавлен обход CloudFlare в Net::HTTP при Engine = Chrome
• Добавлены новые возможности в работе с аккаунтами Яндекса:
  • SE::Yandex::Register теперь сохраняет использованный прокси и ответ на секретный вопрос
  • SE::Yandex::WordStat использует для логина сохраненный прокси и умеет при необходимости отвечать на секретный вопрос
• В SE::Yandex добавлена возможность указывать id региона в обход существующего списка
• Улучшена работа Net:NS, добавлена совместимость с некоторыми серверами
• Улучшен парсинг анкоров беклинков в Rank::Ahrefs

Исправления в связи с изменениями в выдаче

• SE::Google - адаптация к изменениям в верстке
• Исправлена работа с каптчами в SE::Yandex и SE::Yandex::WordStat
• Исправлена работа Shop::Yandex::Market при запросах в виде ссылки
• Исправлен парсинг фото в Shop::Wildberries:roductInfo
• Исправлена ошибка при обработке каптчи в SE::Yandex::ByImage
• SE::Yandex, SE::Bing, SE::Seznam, SE::Baidu, SE::Google::Images, Rank::KeysSo, Rank::MajesticSEO, Rank::Ahrefs::KeywordDifficulty, Maps::Yandex, Shop::Wildberries:roductInfo, SE::Yandex::ByImage

Исправления

• Исправлено использование переменных из Конструктора запросов в Начальном тексте
• Исправлена работа Net::Whois с доменами зоны .it, а также исправлено определение незарегистрированных доменов
• В SE::Yandex::WordStat исправлена ошибка, из-за которой парсер повторно не авторизовался

 

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг данных о Youtube канале
Парсер собирающий информацию со страницы о канале, кроме email который виден после авторизации. Так же собирает email из описания канала.

• Добавлено: парсинг ника канала, который начинается на @, кол-во видео

Парсер Google Places
Получение результатов поиска на Google Places

• Переписан на TypeScript
• Адаптация к изменениям на источнике

Парсинг Авито
Парсинг объявлений на avito.ru

• Запрос для получения номера теперь отправляется только в том случае, если в формате результата задан вывод номера

Анализ ключевых слов на seranking.com
Парсер для анализа ключевых слов с помощью сервиса seranking.com

• Переписан на TypeScript
• Добавлена поддержка разгадывания капчи - опция Util::ReCaptcha2 preset. Разгадывание капчи теперь обязательно
• Добавлена опция Currency с значением по умолчанию EUR
• Полностью переработаны собираемые результаты, они немного отличаются от предыдущих и их стало больше

Парсинг пользователей из группы ВК
Парсинг всех пользователей из любой группы Вконтакте через API

• Адаптация к изменениям на источнике

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

Сборник рецептов #55: сокращатель ссылок и парсер сервиса статистики и аналитики HypeStat

55-й сборник рецептов, в котором представлены парсер для сокращения ссылок с возможностью выбрать из 6-ти сервисов сокращения и парсер HypeStat - бесплатного сервиса статистики и аналитики.

Сокращатель ссылок

Данный парсер позволяет массово сокращать ссылки. На данный момент поддерживается 6 сервисов сокращения, можно выбрать любой из них, а также присутствует режим случайного выбора.



Парсер HypeStat

HypeStat - это бесплатный сервис статистики и аналитики, где вы можете найти информацию о каждом веб-сайте. Данный парсер собирает следующие данные: Technologies Summary, Traffic Summary, Traffic Sources, Competitive Data (SEMrush), Reputation Ratings (MyWot.com), DNS Lookup, Whois Lookup.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

1.2.1930 - 3 парсера для AI контента, обход каптчи Turnstile без сервисов, Instagram с авторизацией



Улучшения

• Добавлены новые парсеры:
  • OpenAI::ChatGPT - парсер ChatGPT
  • OpenAI::Completions - парсер OpenAI Completions
  • SE::You - парсер выдачи you.com
• В Util::Turnstile добавлена возможность разгадывания каптчи без использования сервисов
• В SE::Google::KeywordPlanner добавлена поддержка мультиаккаунтов, а также реализован пакетный парсинг
• В Social::Instagram:ost и Social::Instagram::Geo добавлена возможность парсить с авторизацией
• В SE::Bing добавлена возможность парсить рекламную выдачу
• Добавлен выбор метода получения данных в SecurityTrails::IP
• В [SE::Google::Images добавлен сбор тегов
• Улучшена работа SE:uckDuckGo
• В Shop::Wildberries:roductsList добавлена возможность парсить категории

Исправления в связи с изменениями в выдаче

• SE::Google - множество адаптаций к изменениям в верстке на источнике
• Rank::KeysSo - исправлены парсинг невалидных результатов и ссылки в Organic pages
• Shop::Wildberries:roductInfo - исправлен парсинг категории
• SE::Yandex:irect - исправлен проход по пагинации
• SE::Seznam, SE:ogpile, SE::Ask, Rank::Ahrefs::TrafficChecker, GooglePlay::Apps, SE::Google::Images, CoinMarketCap::LastPrice, SE:uckDuckGo::Images, SE::Google::ByImage, SecurityTrails:omain

Исправления

• Исправлен обход Cloudflare
• Исправлена ошибка в Rank::CMS, из-за которой не определялись некоторые движки
• Исправлена работа SE::Yandex::Suggest при выборе 2-го метода
• Исправлена работа Net::Whois с некоторыми доменными зонами
• Исправлен выбор региона в SE::Yandex:irect
• JS парсеры: исправлена работа threadDestroy()

Кто и зачем покупает аукционные домены?


Ребята из Ant-Team рассказывают про аукционы освобождающихся доменов в РФ: практическое применение на примерах и аналитика.

• Зачем SEO-специалисты или крупные компании приобретают виртуальную недвижимость.
• Кто являются вашими конкурентами по аукционам.
• Какого размера выделять бюджет на аукционы доменов в России.

➡️ Читайте статью по ссылке: https://vc.ru/seo/716986-kto-i-zachem-pokupaet-aukcionnye-domeny

И до 15 июня вы еще можете попасть на второй поток курса по PBN от А до Я: https://pbn-course.ru/.
Там будет вся необходимая теория без воды и много практики.

 

Видео урок: Сокращатель ссылок

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан пример работы с парсером для массового сокращения ссылок.



Оригинальный парсер в Каталоге: https://a-parser.com/resources/455/

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!




Промо от нашего партнера



Leadgid — топовая международная финансовая партнёрская сеть.

Найдётся всё, что нужно новичку и профи:

• выбор из 500+ офферов по 30+ ГЕО
• личная поддержка для каждого вебмастера
• бесплатная платформа LeadCore со всеми инструментами
• регулярные конкурсы с крутыми призами и поездками.

А ещё в Leadgid постоянно проходят разные ивенты, оффлайн-встречи и онлайн-вебинары, обучения, акции и многое другое.

Присоединиться просто — переходи на сайт, регистрируйся и жди волшебное письмо с инструкцией

 

Сборник рецептов #56: Instagram Direct, переводчик Reverso, рекламные объявления из Naver

56-й сборник рецептов, в котором собраны: парсер для рассылки сообщений в Instagram Direct, парсер переводчика Reverso и парсер для сбора рекламных объявлений по ключевым словам из Naver.

Instagram Direct

Парсер для автоматической отправки сообщений указанным пользователям в Instagram.

Парсер переводчика Reverso

Парсер для перевода текстов через сервис reverso.net. Кроме непосредственно перевода на выбранный язык, умеет определять язык исходного текста, собирает варианты перевода, примеры в контексте, а также перефразирования и альтернативные переводы исходного текста.

Naver Ads

Парсер для сбора рекламных объявлений по ключевым словам из Naver. Собирает заголовок, описание, ссылка, сайт и картинку-превью.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

1.2.1958 - 5 новых парсеров, улучшения интерфейса, новые опции в существующих парсерах



Улучшения

• Добавлено 3 новых парсера:
  • DeepL::Write - проверка и редактирование текстов через одноименный сервис
  • Reddit::Comments - парсер комментариев на Reddit
    
  • Reddit:: Posts - парсер сообщений на Reddit
• SE::Google::KeywordPlanner теперь разделен на 2 независимых парсера:
  • SE::Google::KeywordPlanner::Ideas
  • SE::Google::KeywordPlanner::SearchVolume
• В парсеры KeywordPlanner добавлен параметр authuser, он теперь обязателен при способе авторизации через куки
  
• В SE::Google добавлена информация о флагах результатов
  
• В SE::Yandex:: Direct::Frequency добавлен обход каптчи для запросов без использования аккаунтов
• В SE::Google::Images добавлена возможность управлять параметром Safe search
  
• В Net::Whois добавлена опция Checking by DNS record, которая проверяет на существование IP по домену
• Улучшено взаимодействие со всплывающей подсказкой с переменными выбранного парсера:
  • добавлен вывод полного названия выбранного парсера
  • добавлена ссылка на описание выбранного парсера
  • подсказку теперь можно прокручивать
  • данные теперь можно копировать
• При раскрытии выпадающего меню выбора парсера теперь названия парсеров видно целиком
• В настройках задания добавлена опция остановки задания при неудачном запросе
• В настройки потоков добавлена опция Proxy strategy, она позволяет управлять стратегией использования прокси

Исправления в связи с изменениями в выдаче

• SE::Google - адаптация к изменениям в верстке
• Исправлен парсинг related в SE::Yandex
  
• Исправлен Cloudflare::Radar
• Парсер SE::Quora адаптирован к изменениям в выдаче
• Исправлена работа Net::Whois с некоторыми доменными зонами, а также ряд других ошибок
• Shop::eBay

Исправления

• Исправлено ошибочное заполнение неудачными при паузе/остановке задания
• Исправлено игнорирование опции Extra query string в Maps::Yandex

 

Сборник рецептов #57: пересылка сообщений из Telegram каналов, скорость сайтов, проверка текстов

57-й сборник рецептов, в котором представлены: парсер для агрегации сообщений из нескольких Telegram каналов в один; парсер для анализа скорости работы сайта; парсер для анализа текстов на предмет их генерации сервисами ИИ.

Автоматическая пересылка сообщений из нескольких Telegram каналов в один



Представляем пример парсера для мониторинга Telegram каналов и автоматической пересылки сообщений в свой собственный канал. Код парсера как всегда открыт, поэтому есть возможность настроить нужный вид сообщений и редактировать логику работы.

Core Web Vitals


Парсер для анализа скорости сайта. Отчет о скорости сайта основан на реальных данных о просмотре сайтов пользователями Google Chrome, полученных из отчета Chrome User Experience Report (CrUX). Используя сервис calibreapp.

AI content detector



Парсер для анализа текстов на предмет их генерации сервисами ИИ. Определяется вероятность того, что текст был написан человеком, а не искусственным интеллектом. Используется сервис writer.com.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Проверка текста на уникальность
Парсер для проверки текста на уникальность через онлайн сервис. Собираются данные об уникальности, а также список сайтов, на которых есть совпадения и процент совпадения на них.

• Парсер переписан на TypeScript
• Добавлена поддержка запросов в виде ссылок: парсер автоматически определяет тип запроса и если это ссылка - сначала парсит текст выбранным парсером

Парсер hotline.ua
Парсер для агрегатора цен hotline.ua. Данный парсер собирает по ключевым словам информацию из прайсов hotline.ua: имя, описание, цены, изображения и т.д.

• Парсер переписан на TypeScript
• Исправлен сбор данных
• Обновлен набор собираемых данных

Парсинг подсети и организации по IP
Пресет для парсинга подсети и организации по IP

• Исправлена ошибка 403, из-за которой парсер не собирал результаты

Парсер отзывов Wildberries Reviews
Сбор отзывов по товарам с wildberries.ru в csv таблицу. Собираются следующие данные: артикул товара, имя того кто оставил отзыв, дата, количество звёзд, текст отзыва.

• Обновление в связи с изменениями в выдаче

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!