A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Тема в разделе "Рекламный раздел", создана пользователем A-Parser Support, 22.05.17.

  1. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Видео урок: просмотр результатов парсинга, настройка прокси с авторизацией, опция Extra query string

    В этом видео уроке рассмотрены ответы на 3 часто задаваемых вопроса от новых пользователей А-Парсера


    • Где и как можно посмотреть результаты парсинга?
    • Как подключить прокси с авторизацией?
    • Extra query string, что это такое и как применять эту опцию?
    В уроке рассмотрено:
    • Просмотр результатов парсинга 3-мя способами:
      • Способ первый. "Из очереди заданий, если задание на паузе".
      • Способ второй. "Из очереди заданий, если задание завершено".
      • Способ третий. "Забираем результат из папки results".
    • Подключение прокси с авторизацией.
    • Примеры использования опции Extra query string.
    Полезные ссылки:
    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

    [​IMG]
     
  2. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник рецептов #43: освобождающиеся домены, категории сайтов и парсинг PDF

    43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов.

    Аукцион доменов REG.RU

    Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову.

    [​IMG]

    Определение категорий сайта

    Парсер, собирающий категории сайтов из MegaIndex.

    [​IMG]

    Парсинг PDF

    Пример парсинга данных из документов в формате PDF. Для работы используется Node.js модуль pdf-parse.

    [​IMG]

    Кроме этого:
    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG]
     
  3. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник рецептов #44: категории сайтов от Cloudflare Radar, парсер Rozetka и kufar.by

    44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов.

    Парсер Cloudflare Radar

    Парсер для сбора категорий сайтов из Cloudflare Radar

    [​IMG]

    Rozetka - получение данных по API

    Парсер, собирающий данные о товарах на торговой площадке Rozetka через API.

    [​IMG]

    Парсинг объявлений kufar.by

    Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов.

    [​IMG]

    А также, обновлены следующие ресурсы:
    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG]
     
  4. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    1.2.1076 - 3 новых парсера, завершение перехода на Node.js, интеграция puppeteer в сборку

    [​IMG]
    Улучшения

    • В связи с переводом основных встроенных парсеров на новую платформу Node.js, полностью переписаны и обновлены парсеры:
    • Основные улучшения от перевода данных парсеров на Node.js:
      • увеличение производительности в ~1.5 раза
      • унификация HTTP движка с JavaScript парсерами, единый обход CloudFlare
    • Добавлены новые парсеры:
    • В [​IMG] HTML::EmailExtractor добавлена опция Skip non-HTML blocks, позволяющая отключить сбор почт внутри тегов script, style и т.п.
    • В [​IMG] SE::Google::Translate добавлены новые переменные:
      • $translit_orig - оригинальный текст транслитом
      • $translit_translated - переведенный текст транслитом
      • $variants.$i.text - список вариантов перевода оригинального текста
    • В [​IMG] SE::Bing обновлен список регионов и языков
    • В [​IMG] Social::Instagram:: Drofile и [​IMG] Social::Instagram:: Dost добавлена возможность собирать кол-во видеопросмотров
    • В [​IMG] SE::Yandex::Translate добавлена возможность отключать использование сессий
    • В [​IMG] Net::HTTP добавлена возможность указывать user-agent для Chrome
    • В парсере [​IMG] Rank::MOZ исправлена ошибка, возникающая при вызове парсера из JS методом this.parser.request().
    • В Rank::CMS добавлена поддержка нового apps.json и возможность использовать Net::HTTP
    • В Net::Whois обновлена поддержка всех зон
    • Для проксичекеров добавлена опция Exclude from "All", а также сделаны изменения в логике:
      • "All" - использует все прокси выбранные для задании
      • конкретный проксичекер - использует его, даже если он не выбран в задании
    • Добавлена поддержка устаревших версий SSL
    • JS парсеры: Добавлена опция tlsOpts для this.request(), позволяет передавать настройки для https соединений
    • JS парсеры: обновление Node.js с 14.2.0 до 14.15.0
    • JS парсеры: модуль puppeteer включен в сборку А-Парсера и не требует отдельной установки
    Исправления в связи с изменениями в выдаче
    Исправления
    • В SE::Yandex исправлена работа Extra query string
    • Исправлено регулярное выражение в HTML::EmailExtractor для устранения ошибок в некоторых случаях
    • Исправлено поведение парсера SE::Google::KeywordPlanner при отсутствии результатов по запросу
    • Maps::Yandex исправлен и переведен на puppeteer
    • Исправлена ошибка в приоритетах выбора проксичекера
    • JS парсеры: исправлен follow_meta_refresh
    • API: исправлена работа параметра rawResults

    [​IMG]
     
  5. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник рецептов #45: парсеры Google Places и prom.ua, получение характеристик картинок "на лету"

    45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.

    Парсер Google Places

    Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.

    [​IMG]

    Парсер prom.ua

    Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.

    [​IMG]

    Скачивание картинок

    В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.

    [​IMG]

    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG] [​IMG]
     
  6. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    1.2.1148 - накопительное обновление встроенных парсеров и исправление Bypass Cloudflare

    [​IMG]

    Улучшения
    • В [​IMG] HTML::LinkExtractor добавлена опция Skip comment blocks, которая позволяет исключить из парсинга блоки html комментариев
    • Повышена производительность [​IMG] Shop::Yandex::Market
    • В [​IMG] Check::RosKomNadzor добавлена возможность выбирать источник для проверки
    • [​IMG] Maps::Yandex переписан на TypeScript, добавлена возможность подключения сервисов разгадывания каптч
    • В [​IMG] Rank::Alexa::API добавлена возможность получать название страны вместо ее кода
    • В [​IMG] Rank::Ahrefs расширен перечень собираемых данных
    • В [​IMG] SE::Seznam добавлена поддержка сессий и возможность разгадывать каптчи
    • Реализована возможность использовать прокси с одним IP: port, но с разными логинами
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен экспериментальный обход защиты Cloudflare с помощью Chrome
    • Исправлена ошибка в Maps::Yandex, из-за которой не собиралось больше 1 страницы, а также исправлена проблема с получением исходного кода страниц
    • В SE::Youtube исправлено игнорирование настроек поиска, проход по пагинации, а также в некоторых случаях не делались повторные попытки
    • В SE::Google::KeywordPlanner исправлена авторизация
    • Исправлена утечка памяти, которая проявлялась при долго работающих заданиях с большим числом запросов
    • Исправлена ошибка с Buffer, проблема появилась в одной из предыдущих версий

    [​IMG] [​IMG]
     
  7. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Обновление документации и курс по заработку на PBN используя A-Parser

    Обновленная документация

    Мы не стоим на месте: постоянно совершенствуем наш продукт, расширяем его функционал, ориентируясь на сегодняшние потребности пользователей и на удобство использования A-Parser. В соответствии с этим мы полностью обновили нашу техническую документацию, в первую очередь изменили интерфейс, создали логичную структуру разделов, предусмотрели удобную навигацию и поиск.

    Кроме дополнения и обновления существующей документации добавлены новые, ранее не публиковавшиеся разделы:
    • настройка и работа с Docker
    • новое API v2 для написания JS парсеров с использованием TypeScript
    • использование Chrome с прокси с помощью Puppeteer
    • взаимодействие с A-Parser через Redis API
    • использование Node.js модулей
    Также, для всех встроенных парсеров добавили блоки с примерами их использования. Вся документация сопровождается скриншотами и различными примерами, большинство из которых можно импортировать в свой А-Парсер и изучить.

    Обновленная документация еще будет расширяться и дополняться, но Вы уже сейчас можете ознакомиться с ней, перейдя по ссылке: https://a-parser.com/docs/


    Курс по заработку на PBN используя A-Parser(+включает лицензию)

    Наш хороший друг Николай Кодий запускает второй набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов. Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов. Данный курс без "воды" — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. Курс насыщен практикой на реальных задачах. Каждый выпускник сможет в дальнейшем сотрудничать с Николаем или получить рекомендацию от него и контакты компаний, которые часто ищут специалистов по PBN. Подробнее о курсе читайте в его телеграм-канале https://t.me/mypbn/1113

    [​IMG]
    [​IMG]
     
  8. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник рецептов #46: парсинг сообщений из Viber, корейский поисковик и сбор контактов организаций

    46-й сборник рецептов, в который вошли парсер сообщений Viber, парсер корейского поисковика и пресет для сбора контактов организаций из каталога.

    Парсер Viber - сбор сообщений из публичных групп вайбер

    В А-Парсере уже довольно давно существует парсер для сбора сообщений из публичных групп в Telegram. Представляем аналогичное решение для не менее популярного мессенджера - Viber.

    [​IMG]

    Парсер корейского поисковика Daum.net

    Еще один парсер поисковых систем, на этот раз корейской daum.net

    [​IMG]

    Парсинг контактов организаций из ua-region.info

    Пресет для сбора телефонов, почт, сайтов, адресов и прочей информации из каталога организаций ua-region.info

    [​IMG]


    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG] [​IMG]
     
  9. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    1.2.1239 - обновление Node.js, поддержка ReCaptcha v3 и Smart captcha, исправление ошибок

    [​IMG]

    Улучшения
    • Node.js обновлен до версии 15.14.0
    • Добавлена возможность разгадывать Google ReCaptcha v3 в виде нового парсера [​IMG] Util::ReCaptcha3
    • В [​IMG] SE::Yandex, а также в некоторых других парсерах Яндекса реализована обработка новой Smart captcha
    • В [​IMG] Rank::MajesticSEO добавлен режим парсинга через Chrome
    • В [​IMG] SE:: DuckDuckGo актуализированы языки и регионы
    • В [​IMG] SE::Google::Cache добавлена возможность использовать сервисы разгадывания рекаптч
    • В [​IMG] SE::YouTube добавлен сбор ссылок на канал
    • Актуализирован список языков в [​IMG] DeepL::Translator
    • Теперь в [​IMG] SE::Bing при обнаружении бана, прокси банится парсером вместо простой смены
    • В [​IMG] Shop::Amazon обновлен юзер-агент, за счет чего выросла производительность
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен баг в HTML::LinkExtractor, из-за которого парсинг по запросу останавливался с ошибкой
    • В Rank::MOZ исправлено отсутствие повторных попыток, а также изменена логика определения неудачных запросов
    • Исправлена ошибка проверки прокси, если в пароле был символ "*"
    • Исправлен баг, из-за которого при использовании шаблонизатора в Additional headers переставал работать Check content
    • Исправлена логика проверки результатов в SE::Bing::Images
    • Исправлена работа XPath
    • Исправлена утечка памяти: при длительной работе процесс node.js постепенно заполнял всю доступную оперативную память
    • Исправлена работа с прокси на некоторых сайтах, баг появился в одной из предыдущих бета-версий

    [​IMG]
    [​IMG]
     
  10. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Курс по заработку на PBN используя A-Parser(+включает лицензию)


    [​IMG]

    Наш хороший друг Николай Кодий запускает очередной набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

    Курс учит профессии или помогает в ней прокачаться и упорядочить знания.

    Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

    Данный курс без "воды" и с живыми вебинарами, с разборками домашних заданий — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. А, кроме того, сможете попрактиковаться в поиске дропов на продажу. И поднятии на них сеток, для себя или на продажу.

    Курс насыщен практикой на реальных задачах. Каждый выпускник получает весь необходимый инструментарий. Многие из выпускников потом находят работу в хороших компаниях или работают на себя.

    Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link


    [​IMG] [​IMG]
     
  11. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    47-й сборник рецептов, в который вошли парсер данных о Youtube каналах, парсер отзывов из Google Play и универсальный чекер изменений на страницах с уведомлением в Telegram.

    Парсинг данных о Youtube канале

    Парсер для сбора информации о каналах на Youtube. Данный парсер собирает описания каналов, дату регистрации, общее количество просмотров, страну, ссылки и email, если он есть в описании.
    [​IMG]

    Парсинг отзывов Google Play Market

    Парсер комментариев к приложениям в Google Play, который позволяет парсить как тексты отзывов, так и различную информацию: имя автора, аватар, дату и рейтинг.
    [​IMG]

    Универсальный чекер апдейтов(текста, цен и т.п.) на страницах с уведомлением в Telegram

    Данный парсер позволяет отслеживать изменения на различных страницах и получать уведомления в Telegram. Особенностью парсера является возможность гибко добавлять признаки для разных сайтов без необходимости вмешиваться в код. Также парсер формирует отчет, в котором видно сколько раз сработали и сколько уведомлений было отправлено.
    [​IMG]


    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.


    Все сборники рецептов


    [​IMG] [​IMG]
     
  12. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    1.2.1294 - новые опции и расширение перечня типов собираемых данных в некоторых парсерах, багфиксы

    [​IMG]

    Улучшения
    • В [​IMG] SE::Google добавлены новые опции:
      • Exact match - соответствует опции в поисковике "Точное соответствие"
      • Safe search - позволяет включать/отключать Безопасный поиск Google
    • В [​IMG] SE:: DuckDuckGo добавлены опции Safe search и Serp time, а также исправлены мелкие ошибки в логике работы
    • В [​IMG] SE::Google::Trends добавлена опция Use empty queries(ignore query value) которая позволяет осуществлять поиск по категории
    • В [​IMG] SE::Yandex:: Direct реализована поддержка каптч, а также добавлена переменная, позволяющая различать органическую и рекламную выдачу
    • В [​IMG] SE::YouTube добавлена возможность парсить "Похожие запросы", а также собирать дату добавления видео
    • В [​IMG] SE::Yandex::Suggest добавлен выбор способа запроса, один из которых позволяет собирать все расширенные подсказки (реклама, факты, ссылки на сайты)
    • В [​IMG] Net::HTTP добавлена опция Don't verify TLS certs
    • В [​IMG] Google::Maps добавлена возможность парсить ссылку на карточку компании
    • Добавлено обнаружение ограниченных (18+) профилей в [​IMG] Social::Instagram:: Profile
    • Улучшена поддержка доменных прокси
    • Исправлена работа с await this.request в JavaScript API v2
    • Реализован автоматический запуск заданий в статусе Some error при перезагрузке A-Parser
    • Добавлен флаг статичного формата имени файла результата, который позволит более гибко называть файлы и при этом сохранять возможность получать ссылки на них через getTaskResultsFile
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа с поисковыми операторами в SE:: DuckDuckGo
    • Исправлена работа SE::Google::Translate с некоторыми языками
    • Исправлена работа Redis API, проблема появилась в одной из предыдущих версий

    [​IMG] [​IMG]
     
  13. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    [​IMG]

    Дорогие друзья!

    Наш партнёр, международная финансовая партнёрская сеть Leadgid, подготовила бонусы для новых пользователей!

    Регистрируйтесь уже сейчас, лейте трафик и получайте бонус +10% к первой выплате. Для этого достаточно сообщить своему менеджеру промокод APARSERSTART10

    В Leadgid вы можете найти более 500 финансовых офферов и более 30 ГЕО.

    В арсенале партнёрки есть офферы не только по СНГ, но и по всему миру: Испании, Эстонии, Польше, Мексике, Вьетнаму, США и многим другим странам!

    Leadgid известен в арбитражных кругах своим насыщенным нетворкингом и крутыми конкурсами. Принимайте участие в новом конкурсе "Остров Сокровищ Leadgid" и летите вместе с Leadgid на Мальдивы, где вас будет ждать грандиозная вечеринка с розыгрышем главных призов!

    Регистрация по ссылке: https://my.leadgid.com/?utm_source=aparser&utm_medium=referral&utm_campaign=collab


    ______________________________________________________________

    А также, мы представляем видео уроки по работе с A-Parser от DIM STUDIO. На данный момент уже доступно 13 уроков и их список будет пополняться.

    Плейлист со всеми видео уроками



    Список тем:



      • Знакомство. Установка, первичная настройка, запуск первого проекта.
      • A-Parser - XEVIL: Подключаем и проверяем.
      • Сбор главныx страниц phpbb форумов.
      • Как собрать DLE сайты через проверку HTML кода.
      • Последовательный сбор трёх движков статистики (Refspam).
      • Сбор ников с сайтов.
      • Поиск активных ссылок в отчётах Xrumer + Nofollow.
      • Сбор базы форм обратной связи для Xrumer.
      • Импорт/Экспорт пресетов.
      • Поиск движка AWSTATS.
      • Определяем движки из баз для Xrumer с помощью Rank::CMS.
      • Сбор базы ключевых слов через Rank::Bukvarix::Keyword.
      • Собираем данные из групп Telegram.
    Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

    [​IMG] [​IMG]
     
  14. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник статей #13: работа с MongoDB и поиск дроп доменов

    Представляем 13-й сборник статей, в который вошли статья о работе с MongoDB и статья по поиску дроп доменов с использованием A-Parser.

    Пример интеграции А-Парсера с MongoDB. CRUD Операции

    В данной статье рассмотрен пример интеграции А-Парсера с MongoDB. В частности показаны CRUD операции. В качестве хранимых данных в базе используются результаты работы парсера поисковой выдачи Bing.

    [​IMG]

    Дроп домены: для построения сеток PBN

    PBN, или Private Blog Network — это сетка сайтов, созданных для того, чтобы с них проставлять ссылки на свои «белые» проекты для выхода в ТОП в высококонкурентных нишах. Такая сетка строится на дроп-доменах, поскольку у них есть история (конечно же, она должна быть чистой), траст, беклинки и даже трафик. В этой статье на конкретном примере показан пример решения задачи по поиску дропов с использованием A-Parser.

    [​IMG]

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники статей

    [​IMG] [​IMG]
     
  15. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    1.2.1325 - новые парсеры Pinterest, улучшения в существующих парсерах, исправление ошибок

    [​IMG]

    Улучшения
    • Добавлены парсеры Pinterest:
      • [​IMG] SE:: Pinterest - парсинг поисковой выдачи Pinterest
      • [​IMG] SE:: Pinterest::Suggest - парсинг подсказок Pinterest с возможностью парсить в глубину
    • В [​IMG] SE::Google добавлен парсинг исправленного запроса
    • В [​IMG] SE:: Dogpile::Images добавлена поддержка рекаптч
    • В [​IMG] Shop::Yandex::Market добавлен сбор количества покупок и просмотров
    • В [​IMG] HTML::EmailExtractor улучшено обнаружение почт, защищенных CF
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена проблема с распознаванием символов диакритики
    • Устранены падения при ошибках в некоторых API запросах
    • Исправлены зависания при парсинге [​IMG] SE::Yandex с использованием аккаунтов
    • Исправлена ошибка распознавания дат в [​IMG] Net::Whois, а также адаптирован сбор данных для некоторых зон
    • Исправлена ошибка выбора IP для Xevil/CapMonster в Util::ReCaptcha2
    • Исправлена ошибка с указанием Provider url в Util::ReCaptcha2
    • Исправлена ошибка при которой отсутствовал объект с перечнем редиректов в Net::HTTP при Engine = Chrome
    • Исправлена работа Net::HTTP с http сайтами при Engine = Chrome
    • JS парсеры: исправлена работа noChange в this.proxy.set()
    • JS парсеры: исправлена ошибка, при которой set.lvl был пустой при вызове другого парсера из JS парсера
    • Исправлена работа кнопки Выход

    [​IMG] [​IMG]
     
  16. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник рецептов #48: скорость загрузки сайтов, парсер SocialBlade и определение категорий сайтов

    48-й сборник рецептов, в котором собраны пресеты для сбора данных о скорости загрузки сайтов, парсинга статистики из SocialBlade и определения категорий сайтов.

    Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool

    Пресет для сбора данных о скорости загрузки сайтов/страниц с возможностью выбрать платформу (Desktop/Mobile/All). С его помощью можно массово измерить скорость по большим спискам сайтов и сравнить их производительность.

    [​IMG]

    Парсинг статистики с Social Blade

    Парсер для сбора данных из сервиса socialblade.com. С его помощью по ключевому слову, имени, бренду можно найти пользователей по социальным платформам, собрать количества подписчиков и спарсить теги твича.

    [​IMG]

    Проверка категории сайтов через сервис cyren.com
    Парсер сервиса cyren.com. С его помощью можно определить категорию сайта, а также собрать Alexa rank и некоторые Whois данные.

    [​IMG]


    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG] [​IMG]
     
  17. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Видео урок: Сбор форм обратной связи с тематических ресурсов +200 OK

    Новый видео урок по работе с A-Parser от DIM STUDIO, в котором рассмотрен способ сбора форм обратной связи с тематических ресурсов.



    В данном уроке показано как собрать формы обратной связи с тематических ресурсов с последующей проверкой на 200 OK через A-Parser для подготовки к последующему прогону через Xrumer.

    Плейлист со всеми видео уроками от DIM STUDIO

    Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

    [​IMG] [​IMG]
     
  18. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    1.2.1353 - Обновление NodeJS, поддержка Windows 11 и Windows Server 2022

    [​IMG]

    Улучшения
    • NodeJS обновлен до версии 16.11.0
    • Добавлена полная поддержка ОС Windows 11 и Windows Server 2022
    • В [​IMG] SE::Google::Translate добавлена опция Device, которая позволяет переключаться между mobile и desktop версиями переводчика
    • Улучшена работа с очень большими запросами в [​IMG] DeepL::Translator
    • Улучшен алгоритм разделения запросов на части в [​IMG] SE::Yandex::Translate, теперь он максимально приближен к оригиналу
    • В [​IMG] SE::Google::Cache добавлена переменная $link, содержащая ссылку из тулбара
    • В [​IMG] Shop::Amazon добавлена возможность парсить ASIN товаров
    • В [​IMG] Rank::MajesticSEO добавлена возможность собирать Incoming Languages и Site Languages
    Исправления в связи с изменениями в выдаче
    • Исправлен парсинг рекламы в [​IMG] SE::Google
    • Исправлен парсинг $related в desktop выдаче [​IMG] SE::Yandex
    • Исправлен парсинг сниппетов в desktop выдаче и парсинг mobile выдачи в целом в [​IMG] SE::Bing
    • Исправлена работа парсеров [​IMG] Rank::Ahrefs и [​IMG] Rank::Ahrefs::KeywordDifficulty
    • Rank::LinkPad удален из сборки в связи с закрытием доступа к данным
    • Исправлен парсинг $totalcount в [​IMG] SE::Yahoo
    Исправления
    • Исправлена ошибка с символом $ в [​IMG] DeepL::Translator
    • Исправлена работа прокси при использовании движка Chrome в [​IMG] Net::HTTP
    • Исправлена проблема стабильности при использовании в некоторых случаях [​IMG] HTML::TextExtractor и [​IMG] HTML::TextExtractor::LangDetect
    • Исправлена проблема из-за которой SE::Youtube иногда завершался с ошибкой
    • Исправлен вывод исходников страниц в SE::Google::ByImage

    [​IMG] [​IMG]
     
  19. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    Сборник статей #14: авторизация на сайтах, скачивание изображений и парсинг Telegram

    Представляем 14-й сборник статей, в который вошли обзор вариантов авторизации на сайтах, статья о скачивании изображений из сайтов и способ получения сообщений из чатов Telegram.

    Варианты авторизации на сайте с помощью A-Parser

    В статье рассмотрено 3 основных варианта авторизации на сайте с использованием различного функционала A-Parser.

    [​IMG]

    Скачивание всех изображений из сайта

    Обзор решения задачи по скачиванию всех изображений из сайта. В статье рассмотрено 2 способа парсинга и показаны преимущества и недостатки каждого.

    [​IMG]

    Способ получения данных с чатов Телеграм используя экспорт сообщений

    Статья, посвященная вопросу парсинга данных из Telegram. В статье описаны и сравниваются между собой встроенный в клиент Telegram экспорт сообщений и парсинг с помощью A-Parser.

    [​IMG]

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники статей

    [​IMG] [​IMG]
     
  20. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    181
    Симпатии:
    3
    [​IMG]

    Команда A-Parser поздравляет всех с Новым годом 2022!

    В преддверии наступающего года, хочется выразить благодарность за проявление доверительного отношения к нам и пожелать всем огромных успехов в новом году. Пусть этот год станет стартовой площадкой для новых взлётов, достижений, открытий, побед! Желаем Вам интересных, успешных новых проектов и надежных партнеров. Пусть осуществится все задуманное и запланированное! С Новым годом!


    Релиз стабильной сборки А-Парсера - 1.2.1403


    Улучшения
    • В парсеры позиций добавлена возможность искать позиции по части ссылки или по вхождению подстроки (Match type - By substring)
    • В SE::Youtube добавлена возможность выбирать тип выдачи (Desktop/Mobile)
    • Добавлен парсинг альтернативных переводов в DeepL::Translator
    • Улучшен алгоритм авторизации по email : password в SE::Google::KeywordPlanner
    • Реализована корректная обработка редиректа robots.txt в парсере Check::BackLink
    • JS парсеры: в this.request добавлена опция follow_common_redirects, работает аналогично соответствующей настройке в Net::HTTP
    • В связи с неактуальностью удалены следующие парсеры: SE::Bing::LangDetect, Rank::Linkpad, Rank::SEMrush. Также удален SE::Google::Modern, вместо него нужно использовать SE::Google

    Исправления в связи с изменениями в выдаче

    Исправления
    • Исправлена работа авторизации в SE::Google::KeywordPlanner
    • Исправлено использование прокси в Net::HTTP при Engine = Chrome
    • Исправлена проблема в SE::Google::Translate, из-за которой не менялись прокси при переборе попыток
    • В Net::HTTP исправлена ошибка, из-за которой не завершался поток, появилась в одной из предыдущих версий
    • Исправлена работа функции Bypass CloudFlare на некоторых сайтах
    • Исправлен режим работы -foreground

    График работы поддержки на праздники: https://a-parser.com/threads/7214/

    [​IMG] [​IMG]

    Курс по заработку на дропах и PBN используя A-Parser (+включает лицензию)

    [​IMG]

    Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

    Старт - 17 января.

    Что это за обучение?
    Николай научит и покажет на реальных кейсах и примерах:
    • какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится.
    • как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло,
    • как строить PBN, что с ними делать дальше и как на них зарабатывать.
    • как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики.

    Для кого это обучение?
    • Для владельцев агентств, которые хотят выходить на заказы для буржа и открывать отдел pbn. Для тех, кто хочет нанимать подрядчиков для построения pbn, понимать процесс и контролировать качество работы.
    • Для частных и работающих в найме seo-мастеров, которые хотят оказывать услугу по поиску дропов и построению сеток.
    • Для тех, кто ищет новые методы линкбилдинга.
    • Для тех, кто хочет освоить в новом году новую профессию. И стать специалистом в PBN.
    Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

    Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

    Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
    И на FB странице Николая - https://www.facebook.com/nkodiy/
     

Поделиться этой страницей