A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Успей купить A-Parser по прежней цене до 15 февраля

Объявляем о первом повышении цен за 10 лет, за этот период времени мы выпустили бесчисленное количество новых версий, создав из простого парсера поисковых систем полноценную платформу по разработке парсеров любых типов данных на современном JavaScript и TypeScript.

И мы не планируем останавливаться, мы стремимся к тому, чтобы A-Parser всегда был для наших клиентов максимально полезен и эффективен, поэтому главным приоритетом для нас является разработка новых функций, добавление новых парсеров и поддержка работоспособности всех существующих.

В течение месяца вы сможете успеть купить A-Parser по старой цене. Новые тарифы вступят в силу 15 Февраля 2022



Для существующих клиентов мы сохраним цены на обновления, дополнительные IP и повышения лицензий в течении 3 месяцев, новые цены для существующих клиентов вступят в силу с 15 апреля

 

1.2.1432 - многоядерная обработка заданий, парсеры Wildberries, оптимизация производительности



В версии 1.2.1432 добавлена долгожданная возможность обработки разных заданий на нескольких ядрах процессора, что многократно увеличивает производительность заданий, требовательных к CPU. Данная возможность доступна только для лицензии Enterprise, успейте сделать апгрейд до повышения цен

Улучшения

• Добавлены новые парсеры:
  • Shop::Wildberries:: ProductsList - парсер списка товаров Wildberries по ключу, бренду или категории
  • Shop::Wildberries:: ProductInfo - парсер данных о товаре на Wildberries
  • Util::hCaptcha - парсер для разгадывания hCaptcha с помощью сервисов разгадывания
• Добавлена поддержка обработки заданий на разных ядрах процессора, данная возможность доступна только для лицензии Enterprise и многократно ускоряет обработку нескольких заданий в очереди
  
• Оптимизация скорости начальной загрузки и общей производительности JS парсеров, скорость загрузки A-Parser выросла на 30-50%
  
• В интерфейсе добавлен выбор версии API при создании парсеров
  
• Улучшена работа опции Detect charset on content
  
• В SE::Google обновлен список доменов
• В SE::Yandex:: Direct обновлен список регионов
  
• В Check::BackLink добавлена возможность проверки ссылки без указания протокола в режиме поиска по подстроке

Исправления в связи с изменениями в выдаче

• Исправлена работа SE::Yandex
• Исправлено получение $commentscount в Shop::Amazon
  
• Исправлен сбор $number_sales в Shop::eBay
  
• Исправлена работа SE::Yandex:: Direct
  
• Исправлена работа парсеров Bukvarix

Исправления

• Исправлена работа SE::Google с доменом google.com.bd
• Исправлен сбор ссылок в HTML::LinkExtractor в некоторых случаях
• Исправлен баг интерфейса, из-за которого в Планировщике была скрыта кнопка удаления заданий

Напоминаем, вы можете успеть купить A-Parser по старой цене. Новые тарифы вступят в силу 15 Февраля 2022

 

Сборник рецептов #49: генерация картинок и текстов, парсер adult ключевых слов

49-й сборник рецептов, в котором собраны парсер для генерации картинок, парсер для генерации текстов и парсер ключевых слов адалт тематики.

Генерация картинок ruDALL-E

Парсер, позволяющий автоматически массово генерировать уникальные изображения по списку ключевых слов с помощью нейросети ruDALL-E.



Яндекс Балабоба - генератор текстов от Яндекс

Данный парсер использует сервис Яндекс Балабоба для генерации коротких текстов по списку ключевых слов или предложений. Также возможна генерация текстов рекламных объявлений для доменов.



Подсказки NudeVista

Парсер адалт подсказок из сайта nudevista.com. Может использоваться для парсинга списков ключевых слов adult тематики.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов



Напоминаем, вы можете успеть купить A-Parser по старой цене. Новые тарифы вступят в силу 15 Февраля 2022

 

Сборник статей #15: разработка TypeScript парсеров и массовая индексация в Google

Представляем 15-й сборник статей, в который вошли статья о разработке TypeScript парсера для генерации картинок с помощью нейросети и статья об опыте массовой индексации страниц в Google.

Генерация картинок ruDALL-E. Мануал по созданию TS парсера
В прошлом сборнике рецептов мы опубликовали парсер для генерации картинок ruDALL-E. Сегодня же мы представляем вам развернутую статью, где подробно рассказано об общем подходе к написанию таких парсеров и описан процесс разработки.
Ознакомиться с функционалом данного парсера можно в обзорном видео от нашего партнера DIM STUDIO:



Как проиндексировать сайт в Google и повысить видимость
Статья на vc.ru о том, как за 10 дней было проиндексировано более чем 30 000 страниц сайта в Google.
Для массовой индексации в Google использовался скрипт на Python и Google Indexing API.
Для проверки индексации использовался A-Parser, в нашем Каталоге есть пример такого пресета: https://a-parser.com/resources/160/



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 

1.2.1511 - улучшение работы с Chrome и обхода защит, обновление NodeJS, парсер подсказок Wildberries



Улучшения

• Реализован обход защит по TLS отпечаткам, теперь запросы A-Parser на 100% выглядят как Chrome
• NodeJS обновлен до 16.15.0
• В SE::Google добавлен параметр Narrow results by region, который позволяет сузить поиск до конкретной страны
• В парсере Maps::Google добавлен автоматический обход координат в заданном регионе, детальнее здесь
• В Telegram::GroupScraper добавлена опция Start message number, которая позволяет задать с какого номера собирать сообщения в телеграм чате
• В SE::YouTube добавлен сбор количества подписчиков канала
• В SE::Google::Trends добавлен сбор id тем для related topics
• В парсере Shop::Wildberries:: ProductsList добавлен сбор ключей из "Еще ищут" и "Возможно вам понравится"
• Добавлен парсер подсказок Wildberries: Shop::Wildberries::Suggest
• В Shop::Wildberries:: ProductInfo добавлен сбор дополнительных данных
• В SE::Google::Images добавлены новые типы в Usage rights
• Добавлена возможность выводить исходные данные (raw data) в парсерах Ahrefs
• В Net::HTTP и JS парсерах добавлена опция Randomize TLS Fingerprint
• Улучшена работа с Chromium из JavaScript парсеров
• В Net::HTTP и this.request() теперь по-умолчанию используется user-agent последнего Chrome

Исправления в связи с изменениями в выдаче

• Множество адаптаций к изменениям в верстке Google, Яндекс, Bing
• В парсерах Яндекса исправлен парсинг турбо страниц
• Исправлена работа SE::Yandex::WordStat, в планах полная переработка данного парсера с добавлением нового функционала
• В SE::Yandex::ByImage исправлен парсинг выдачи
• Исправлен парсинг имени пользователя в Telegram::GroupScraper
• В SE::Google::ByImage изменен набор собираемых данных и формат результата по-умолчанию, а также в целом исправлена его работа
• Исправлена работа парсеров Букварикс, но из-за высокой нагрузки на их API данные парсеры могут не работать
• Исправлен парсинг сниппетов в SE::Google::ByImage
• SE::Google::TrustCheck, Check::RosKomNadzor, SE:: DuckDuckGo, SE::Seznam, Shop::Wildberries:: ProductsList, SE::Baidu, SE::Google::Images, Rank::Ahrefs::KeywordGenerator

Исправления

• Исправлена ошибка в Shop::Wildberries:: ProductsList, из-за которой с некоторыми запросами не выводился $totalcount
• Исправлена загрузка каптч в SE::Yandex::Images
• Устранена утечка памяти в парсере DeepL::Translator, а также другие ошибки
• Исправлена работа проксичекера с socks5 IPv6 прокси
• Исправлена работа опции Don't verify TLS certs в некоторых случаях
• Устранена утечка памяти при частом запуске заданий или использовании API, утечка была связана с внутренним багом NodeJS
• Исправлено зависание Тестового парсинга при редактировании кода парсеров
• Исправлен проход по редиректам в HTML::LinkExtractor
• Исправлен выбор домена в SE::Yahoo
• Исправлена заспамленость лога ошибками при использовании Maps::Yandex
• Исправлен сбор результатов $records в Net:: DNS
• Исправлена ошибка когда не находилась следующая страница опцией Check next page

 

XEvil 5.0: лучший в мире софт для решения капч. СКИДКИ!

Рады представить вам разработку нашего партнёра:
XEvil 5.0 - известную во всём мире программу для решения большинства существующих капч, самую быструю и точную по сравнению с аналогами.

Программа полностью совместима с A-Parser, прекрасно справляется с капчами Yandex, Rambler, Google, BING и тысячами других.

• Решение свыше 12.000 типов капч, в том числе ReCaptcha v.2 и v.3, Yandex, Google, Microsoft (Bing), SolveMedia, BicoinFaucet, Gosuslugi и множества других.
  Подготавливаемый к релизу XEvil 6.0 также будет поддерживать решение hCaptcha, ReCaptcha Enterprize и FunCaptcha.

• никаких лимитов на число распознаваний и число потоков! можете решать хоть миллионы капч в день, это ничего не будет стоить - достаточно лишь один раз купить лицензию (она пожизненная)

• гибкий API, совместимость с сотнями программ (A-Parser, GSA, XRumer, ZennoPoster, BAS, FaucetCollector, Key Collector и др.),
  в комплекте также идет браузерный плагин XEvil Solver Plugin

• оперативные доработки по пожеланиям клиентов, дообучение новым капчам

• простой и понятный интерфейс, разберется даже школьник!

Всем нашим клиентам мы предлагаем набор купонов,
дающих скидку 60% на покупку любой лицензии XRumer + XEvil:
при покупке лицензии Стандарт вы экономите более 7000 рублей(купоны действуют до 15-го июня):

APXEVIL-60-220616-ga5zoamjuon9jb5y
APXEVIL-60-220616-ga5zoamjuoy8kx4k
APXEVIL-60-220616-ga5zoamjuoun97t4

За дополнительными купонами вы можете обратиться в техническую поддержку A-Parser

Официальный сайт программы:
http://botmasterru.com/

Спасибо за внимание!

 

Сборник рецептов #50: скриншоты выдачи Google и подсказки Авито

50-й сборник рецептов, в который вошли парсер для создания скриншотов выдачи встроенного парсера (на примере Google) и парсер подсказок Avito.

Скриншоты выдачи Google

Демонстрация способа создания скриншотов страниц, получаемых другими парсерами.
Для примера используется парсер Google. В результате формируется файл со списком спаршенных ссылок и файл со списком созданных скриншотов. Скриншоты складываются в отдельную папку. По аналогии можно делать скриншоты выдачи, получаемой другими парсерами.



Подсказки Авито

Парсер для сбора подсказок на Авито с возможностью указать локацию и парсингом в глубину.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

Курс «Специалист по дропам и PBN», используя A-Parser (+включает лицензию)



Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Старт - 27 июня.

Что это за обучение?
Николай научит и покажет на реальных кейсах и примерах:

• какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
• как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
• как строить PBN, что с ними делать дальше и как на них зарабатывать
• как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

Для кого это обучение?

• Для владельцев агентств, которые хотят выходить на заказы для буржа и открывать отдел pbn. Для тех, кто хочет нанимать подрядчиков для построения PBN, понимать процесс и контролировать качество работы.
• Для частных и работающих в найме seo-мастеров, которые хотят оказывать услугу по поиску дропов и построению сеток. Или кто хочет строить сетки под свои проекты. Для тех, кто ищет новые методы линкбилдинга.
• Для тех, кто хочет с нуля освоить в новом году новую профессию. И стать специалистом в денежной сфере — PBN.

Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
И на FB странице Николая - Facebook

 

1.2.1549 - новый парсер CoinMarketCap, полностью переписаны 9 парсеров и новые опции в существующих



Улучшения

• Добавлен новый парсер CoinMarketCap::LastPrice
• Парсер SE::Yandex::Register полностью переписан, восстановлена возможность регистрировать аккаунты
• Парсеры SE::Yandex::WordStat, SE::Yandex::WordStat::ByDate и SE::Yandex::WordStat::ByRegion полностью переписаны, добавлен новый функционал (выбор способа авторизации, регистрация аккаунтов "на лету", сессии...), полный список изменений здесь
• HTML::EmailExtractor полностью переписан, благодаря использованию в качестве основы HTML::LinkExtractor кроме собственно парсинга почт, стали доступными множество возможностей: сбор ссылок, парсинг в глубину, использование Chrome и т.д.
• Все парсеры Instagram переписаны на JS APIv2, а также адаптированы к изменениям на источнике, больше информации здесь
• Увеличено максимальное кол-во страниц в SE::Google до 100
• Добавлен сбор даты со сниппета в парсерах Google
• В парсере SE::Bing добавлена опция Fix pagination bug, устраняющая баг в поиске Bing, из-за которого отдаются пустые 2-я и последующие страницы
• В парсере Shop::Wildberries:: ProductInfo добавлен сбор данных о продавце и возможность определять наличие товара
• В парсере SE::Startpage добавлена опция Links per page и обновлен список доступных вариантов в существующих опциях
• В SE:: DuckDuckGo добавлено опцию Use HTTP/2
• Net::HTTP: добавлена опция Ban Proxy Code RegEx
• Добавлена возможность задавать произвольный уровень для подзапросов (query.add)
• Добавлена опция needResults для this.parser.request

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке Google и Yandex
• Восстановлена работа с рекаптчами в SE::Google, детальная информация об изменениях здесь
• Исправлен парсинг $title в Shop::Wildberries:: ProductInfo
• SE::Google::TrustCheck,SE::Google::Images, Shop::Yandex::Market, Shop::Wildberries:: ProductsList, SE:: Dogpile, SE::Startpage

Исправления

• Исправлена работа HTTP keep-alive, в некоторых случаях сокет закрывался раньше времени
• Исправлена ошибка в опции Follow common redirects
• Redis API: исправлена работа некоторых парсеров, проблема возникала с парсерами, использующими оптимизацию результатов

 

Сборник рецептов #51: история IP-адресов и парсинг страниц контактов

51-й сборник рецептов, в котором мы делимся парсером сервиса builtwith.com и пресетом для сбора страниц контактов и контактных данных.

Парсер BuiltWith.com. История IP-адресов и взаимосвязи

Сервис builtwith.com предоставляет пользователям различные данные которые помогают в лидогенерации, аналитике продаж и информации о доле ранка передовых технологи.
Для демонстрации возможностей А-Парсера по созданию JavaScript парсеров и обхода капчи в кастомных парсерах был создан данный пример, который реализует сбор малой части возможностей сервиса builtwith.com, а именно: сбор истории IP-адресов по нужному домену и другие веб-сайты, которые имеют общие IP-адреса с введенным доменом. Полезен SEO-специалистам для поиска сайтов конкурентов, сеток конкурентов, айпи адресов в временном промежутке.



Парсинг страниц контактов, страниц Privacy Policy и Terms of use, email, соц. сети

При помощи данного парсера можно собрать контактные данные со страниц контактов и страниц о компании. Страницы контактов часто содержат контактную форму, поэтому ссылку на нее тоже выводим в результат. Так же парсер собирает страницы Privacy Policy и Terms of use, на страницах которых иногда есть email. Дополнительно происходит сбор соц. сетей (фейсбук и твиттер). Все это необходимо для того чтобы можно было связаться по различным каналам с владельцами или администрацией сайтов для взаимодействия и сотрудничества.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

1.2.1604 - парсинг Google People also ask, новые методы в JS парсерах, адаптация к изменениям



Улучшения

• В SE::Google добавлен парсинг People also ask
  
• В Rank::Ahrefs добавлен новый метод парсинга, данные, получаемые старым способом немного отличались от таковых в браузере
  
• Реализована защита от gzip bomb
• В SE::Yandex::Register улучшена работа с номерами и оптимизирован процесс регистрации
• Улучшена работа с сессиями в SE::Yandex::WordStat
• Для парсеров Яндекс добавлена возможность использовать аккаунты на своих доменах
  
• Во всех парсерах Яндекса работа со smart captcha адаптирована к изменениям на источниках
  
• JS парсеры: добавлен метод this.puppeteer.logScreenshot(), он позволяет логировать скриншот текущей страницы
• JS парсеры: добавлены методы this.isContextAlive(), this.console.log, this.console.setPrefix и .setGlobalConsolePrefix, подробнее здесь и здесь
• В SE::Yandex::WordStat::ByDate добавлена корректная обработка ситуаций, когда по запросу нет результатов
• HTML::TextExtractor - оптимизирована скорость обработки

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке Google и Яндекс
  
• SE::Yandex::Register адаптирован к изменениям на источнике
• Исправлена авторизация по логин/паролю в SE::Google::KeywordPlanner
  
• SE::Google::SafeBrowsing, Telegram::GroupScraper, SE::Baidu, Rank::MajesticSEO, Shop::Wildberries::Suggest, Social::Instagram::Tag, Social::Instagram:: Profile

Исправления

• Исправлена проблема с зависанием HTML::TextExtractor::LangDetect на некоторых запросах
• Исправлена работа методов tools.task.* в JS API v2
  
• Исправлена ошибка кодировки в Net::HTTP
• Исправлена работа с прокси в Puppeteer, проблема появилась в одной из предыдущих версий
  
• Исправлена ошибка со сбором title в Shop::Wildberries:: ProductInfo в некоторых случаях
• В Shop::Wildberries:: ProductsList исправлен парсинг тегов
  
• Исправлена работа SE::Bing::Translator в некоторых случаях
  
• Исправлена некорректная инициализация Node на лицензии Enterprise
  
• В SE::Bing - исправлена ошибка с выводом $pages

 

Как использовать A-Parser для крауд-маркетинга

​

Наши друзья из Ant-Team.ru сняли полезное видео о том, как использовать A-Parser для крауд-маркетинга.

Крауд-маркетинг использует отзывы и комментарии на сторонних ресурсах для продвижения компании.

В видео показано, как выставить настройки в A-Parser, чтобы парсить поисковую выдачу Яндекс по информационным запросам, и какие переменные нужны для парсинга. Дана подробная инструкция, как добавлять в A-Parser прокси и сервисы разгадывания капчи.

Также вы узнаете, как проверять качество ссылочной массы, рейтинг домена, беклинки и т.д.

Смотреть видео на YouTube​

Подписывайтесь на их телеграм-канал, там много полезной информации по SEO: https://t.me/seoantteam

 

Автоматизация в SEO: как заменить отдел джунов парсером?

Совсем недавно прошла юбилейная десятая онлайн-конференция по интернет-маркетингу Baltic Digital Days. Специалист по SEO Георгий Шилов выступил с докладом на тему "Автоматизация в SEO: как заменить отдел джунов парсером?"

​

В докладе содержится много полезной информации по использованию A-Parser. Вы узнаете:

• Что такое парсер
• Сколько стоит джун в SEO
• Проблемы в SEO
• Автоматизация рутинных задач
• Кластеризация
• Мониторинг позиций
• Комбинируем пресеты для решения любых задач
• Тех. анализ и мониторинг

и другие решения с помощью A-Parser

Смотреть видео на YouTube​

 

Сборник рецептов #52: чекер e-mail, отзывы Wildberries и двойные ссылки в выдаче Google

52-й сборник рецептов, в котором опубликованы парсер для универсальной проверки e-mail, парсер отзывов из Wildberries и пресет для сбора двойных ссылок одного сайта из выдачи Google.

Универсальный чекер e-mail

Парсер для универсальной проверки почт. Делается проверка на валидность, на наличие MX записей и на существование почты.



Парсер отзывов Wildberries Reviews

Парсинг отзывов из Wildberries в CSV таблицу с возможностью задать локацию и необходимое кол-во отзывов.



Сбор двойных ссылок одного сайта из Google выдачи

Парсинг двойных ссылок одного сайта с первой страницы выдачи Google в CSV таблицу.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

Курс "Специалист по дропам и PBN с нуля до профи" используя A-Parser (+включает лицензию)

​

Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Старт - 26 сентября.

Что это за обучение?
Практический курс, после которого вы научитесь и узнаете:

— какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
— как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
— как строить PBN, что с ними делать дальше и как на них зарабатывать
— как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

Для кого это обучение?
— Для seo-мастеров, которые хотят продвигать сложные ниши в различных гео. Для тех, кто ищет новые методы линкбилдинга. Для тех, кто хочет в текущей компании повысить компетенции и доход
— Для тех, кто хочет освоить в новом году новую профессию. И стать специалистом в PBN

Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
И на FB странице Николая - https://www.facebook.com/nkodiy/posts/5305252276258938

​

 

1.2.1661 - новые парсеры: Яндекс Балабоба и позиции в DuckDuckGo, улучшения во встроенных парсерах



Улучшения

• Добавлен парсер позиций DuckDuckGo: SE:: DuckDuckGo:: Position
• Добавлен парсер Яндекс Балабоба: SE::Yandex::Balaboba
• Реализована работа с XEvil через API Antigate v2
• Добавлена передача кук Google при включении опции ReCaptcha2 pass proxy в SE::Google
• Обновлен список доменов в SE::Yandex
• В связи с тем, что Яндекс теперь всегда выдает по 10 результатов на страницу, в SE::Yandex убран параметр Links per page
• В HTML::LinkExtractor и Check::BackLink добавлен сбор <a> тега
• В Shop::AliExpress добавлена поддержка сессий
• В HTML::EmailExtractor добавлена опция Skip meta tags, при ее включении указывает парсеру не собирать почты в meta тегах
• В парсере DeepL::Translator актуализирован список языков

Исправления в связи с изменениями в выдаче

• Исправлено определение опечатки по запросу в SE::Yandex
• SE::Yandex::WordStat - исправлена авторизация в режиме HTTP
• Исправлено определение рекламы в SE::Yandex:: Direct
• Исправлен Shop::Wildberries:: ProductsList при парсинге по ключевым словам
• SE::Baidu - исправлена работа в тех случаях, когда по запросу нет результатов
• SE::Google, SE::Yandex, SE::Bing, SE::Google::Images, Rank::MajesticSEO, Rank::MOZ,Shop::AliExpress, Shop::Amazon, SE:: Pinterest

Исправления

• Исправлен выбор региона в SE::Yandex
• Исправлена обработка url с кириллицей в PAA SE::Google
• Исправлена работа SE::Google::KeywordPlanner, в некоторых случаях парсер не видел ответ и ошибочно повторял попытки
• Исправлена ошибка логина в парсере SE::Yandex:: Direct
• В SE::Yandex::Register исправлен баг при отображении Яндексом ошибки о некорректном номере телефона или о других проблемах
• SE::Google::Translate - в некоторых случаях парсинг завершался с ошибкой
• Исправлен баг с ошибочным выводом результатов в Net::HTTP при сборе через регулярку, в случаях когда один запрос отработал успешно, а другой нет, и второй вывел результаты первого
• Исправлена ошибка с висящими процессами Chrome после завершения задания на Windows 11
• Исправлена доступность fs.constants

 

Сборник статей #16: вывод результатов в JSON, синхронизации файлов и SEO кейс продвижения сайта

Представляем 16-й сборник статей, в который вошли статья о вариантах вывода результатов в JSON виде, статья о синхронизации А-Парсеров на разных ПК с помощью Google Диск и SEO кейс продвижения сайта с выходом на иностранный рынок.

Обзор вариантов вывода результатов в JSON виде

Полный обзор всех возможных способов вывода результатов в JSON виде с примерами: вывод в JSON для одиночных запросов, формирование JSON построчно, формирование объекта в памяти и вывод результатов в JSON в конце работы задания.



Синхронизация А-Парсеров на разных ПК с помощью Google Диск (Google Drive)

В этой статье описывается как синхронизировать файлы А-Парсера, конфиги, все настройки которые вы сделали на одном ПК, с другим ПК.
В качестве инструмента будет использоваться простой и бесплатный Google Диск (Google Drive) с помощью которого вы можете хранить и передавать коллегам файлы и папки, а также работать над ними вместе с другими пользователями на компьютере или мобильном устройстве.



Как мы потратили 1 млн рублей для выхода на иностранный рынок SEO: кейс с расходами и результатами

Статья на vc.ru о том, как мы за 3 месяца вывели сайт с нуля в топ по Южной Африке. Делимся готовой пошаговой схемой быстрого вывода сайта на иностранный рынок, с данными по нагрузке сотрудников, расходами, таблицами и примерами ТЗ.
Для массовой проверки выдачи Google использовался Python и парсер A-Parser.
Кейсы по применению нашего парсера Google и его описание:
https://a-parser.com/docs/parsers/se-google



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 

Сборник рецептов #53: популярные запросы Google Trends, парсер yep.com и проверка домена в выдаче

53-й сборник рецептов, в котором собраны парсер популярных запросов за сутки на Google Trends, парсер yep.com и пресет для проверки на содержание доменов в выдаче.

Парсинг популярных запросов за сутки Google Trends

Парсер для сбора поисковых трендов за сутки с Гугл Трендс. Собираются дата, название запроса, трафик, похожие запросы и ссылка на позицию.



Парсер yep.com

Простой пресет для парсинга поисковой системы yep.com.



Yandex - проверка на содержание доменов в выдаче

Пресет для проверки на содержание доменов в выдаче с записью в разные файлы результатов по условию.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

1.2.1683 - новый парсер Cloudflare::Radar, поддержка сервиса CaptchaAI, исправления ошибок



Улучшения

• Добавлен новый парсер Cloudflare::Radar, определяет категории доменов
• В парсеры Util::ReCaptcha2, Util::ReCaptcha3, Util::hCaptcha добавлена поддержка сервиса CaptchaAI
• В Rank::Ahrefs добавлен сбор рейтинга страницы (URL rating)
• Обновлен список языков в DeepL::Translator

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке Google и Яндекс
• Исправлен сбор totalcount в SE::Yandex для некоторых запросов
• Исправлен выбор региона в SE::Yandex:: Direct
• Исправлена работа Rank::Ahrefs::KeywordGenerator c Country - United Kingdom
• В Shop::Yandex::Market по некоторым запросам не было результатов
• SE::Google::Images, Rank::Ahrefs::KeywordGenerator, Shop::Yandex::Market

Исправления

• Исправлено лишнее использование сессии на последней попытке в SE::Google
• Исправлен парсинг поисковой выдачи Яндекс, когда в выдаче только 1 результат
• Исправлена ошибка в Telegram::GroupScraper, из-за которой парсились не все имена и ссылки на логины
• Исправлен баг в SE::Yandex:: Position, из-за которого ошибочно осуществлялся поиск по запросу вместе с искомым доменом
• Исправлена проблема в Check::RosKomNadzor, из-за которой при массовом парсинге иногда не менялась прокси
• В HTML::LinkExtractor исправлен сбор внутренних ссылок после редиректа
• Puppeteer: улучшена работа с сайтами, запрашивающими доступ в модальном диалоге

 

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг базы фильмов из IMDB
Парсер получает данные о каждом фильме и записывает их в результат: название, дата выхода, рейтинг, рекомендаций к ним и другое

Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool
Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool. Используется технология Chrome User Experience Report (CrUX) - это набор данных, отражающий, как реальные пользователи Chrome взаимодействуют с популярными сайтами в Интернете.

Парсер профиля YouTube
Парсинг данных о Youtube канале: дата регистрации, количество просмотров, страна, email из описания (если есть), описание, ссылки

Парсинг istio.com
Парсер для анализа текстов на сервисе istio.com. С его помощью можно определить такие показатели как тошнота, водность, словари, тематика, статистика и т.п. В качестве запросов можно подавать как тексты, так и ссылки на страницы.

Оценка страниц с использованием Lighthouse
Парсер для оценки производительности, доступности и оптимизации веб-страниц с использованием технологии Lighthouse. Lighthouse - это автоматизированный инструмент с открытым исходным кодом для улучшения качества веб-страниц. С помощью данной технологии осуществляется аудит сайта и можно получить такие показатели как производительность, доступность, оценку доступности для поисковых систем и т.д.

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!