A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Тема в разделе "Рекламный раздел", создана пользователем A-Parser Support, 22.05.17.

Страница 2 из 11
  1. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    Видео урок: Создание JS парсеров. Получение результатов от стандартного парсера

    Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере.

    [​IMG]

    В уроке рассмотрено:
    • Создание кастомного JS парсера
    • Использование встроенного парсера внутри JS парсера
    • Парсинг выдачи поисковой системы с фильтрацией результатов по заданному условию
    Полезные ссылки:
    Статья и готовый парсер: https://a-parser.com/resources/254/

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
     
    A-Parser Support, 03.02.18
    #21
  2. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    Видео урок: Создание JS парсеров. Парсинг сайта с проходом по страницах

    Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере.

    [​IMG]

    В уроке рассмотрено:
    • Создание кастомного JavaScript парсера без использования встроенных парсеров
    • Парсинг контента сайта постранично с использованием регулярных выражений
    • Реализация прохода по страницам ("пагинации") в JS парсере
    Статья и готовый парсер: https://a-parser.com/resources/255/

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
     
    A-Parser Support, 14.02.18
    #22
  3. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    1.2.138 - поддержка Node.js модулей, обработка ReCaptcha2 во всех парсерах Google, парсер AliExpress

    [​IMG]

    В A-Parser 1.2.138 добавлена эмуляция node версии 8.9.x с поддержкой загрузки модулей и частичной реализацией fs и net модулей. Это дает возможность обращаться из JavaScript парсеров напрямую к файловой системе, а также использовать подключение по TCP из модулей к другим сервисам(например mysql, redis, chrome...).

    Все это позволило загружать и использовать node модули из каталога npm, в котором собраны множество полезных библиотек для обработки данных, коннекторы к базам данных и множество других интересных вещей. На данный момент протестированы следующие модули: md5, async-redis, jsdom, puppeter.
    Улучшения
    • Добавлена поддержка Node.js модулей в JavaScript парсерах
    • [​IMG] SE::Google:: Position, [​IMG] SE::Google::Compromised и [​IMG] SE::Google::TrustCheck полностью переписаны, добавлена поддержка ReCaptcha2
    • Улучшена работы [​IMG] SE::Google::Modern в целом
    • В [​IMG] SE::Youtube добавлен выбор языка, а также реализована возможность включать/отключать Безопасный режим
    • Добавлен [​IMG] Shop::AliExpress
    • Улучшена проверка создаваемых переменных в пресетах
    • Улучшена работа сессий
    • Исправлено отображение имени файла запроса на карточке задания
    • Улучшена работа скрола в Тестовом парсинге
    • Добавлено удаление переносов из сниппетов в [​IMG] SE::Google::Modern
    • Картинка каптчи в парсере [​IMG] SE::Yandex::Register теперь скачивается через прокси
    • Множество мелких улучшений в интерфейсе
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа Конструктора регулярных выражений
    • Исправлена работа с кодировками в парсерах переводчиков и JS парсерах
    • Исправлена работа [​IMG] SE::Google:: Position
    • Исправлен выбор региона в [​IMG] SE::Yandex:: Direct
    • Исправлена работа опции Location в SE::Google::Modern
    • Исправлена работа сессий в SE::Google::Modern при переопределенном домене
    • Исправлена ошибка при совместном использовании опций Перезаписи файла, Начального и Конечного текстов
    • Исправлено отображение вкладок в Тесте задания
    • Исправлено отображение списка пресетов в поле Запустить по завершению
    • Исправлена работа this.proxy.set в JS парсерах
    • Исправлена передача дополнительных параметров в JS парсерах
    • Исправлена ошибка, из-за которой через API нельзя было указать Начальный и Конечный тексты
    • Исправлен экспорт пресетов
     
    A-Parser Support, 23.02.18
    #23
  4. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    Использование Xevil совместно с A-Parser для разгадывания ReCaptcha2

    [​IMG]

    Как известно, сейчас Google при парсинге очень часто выдает рекаптчу, что значительно усложняет и замедляет сбор данных.
    В A-Parser есть возможность обходить данную проблему, разгадывая рекаптчу с помощью сторонних сервисов. Поддерживаются различные онлайн сервисы, а также программные решения.

    Одним из таких решений есть XEvil. Его использование дает хороший прирост в скорости, а также значительно удешевляет парсинг, ведь здесь нету оплаты за количество разгаданных каптч/рекаптч, как в онлайн сервисах. Кроме этого, XEvil умеет разгадывать практически любые обычные каптчи (в виде картинки) и данная возможность также поддерживается в A-Parser.

    [​IMG]

    На данный момент использовать разгадывание рекаптчи с помощью XEvil можно в таких парсерах:

    В видео показано:
    • подключение Xevil к A-Parser для работы с ReCaptcha2
    • проверка работы и демонстрация работы в SE::Google::Modern

    Ознакомиться более детально с возможностями XEvil можно по ссылкам:

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
     
    A-Parser Support, 06.03.18
    #24
  5. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb

    21-й сборник рецептов. В нем мы научимся отправлять сообщения в Telegram прямо из A-Parser, изучим работу с модулями Node.js в JS парсерах на примере решения задачи фильтрации по множеству признаков, а также спарсим весь IMDb. Поехали!

    Уведомления в Telegram из A-Parser

    Telegram является одним из самых популярных мессенджеров благодаря своей простоте, и в то же время большому функционалу. Среди прочего, в Телеграме можно создавать ботов, с помощью которых можно делать чаты более интерактивными. Взаимодействие с ботом на на стороне сервера происходит через Telegram Bot API. Используя эти возможности, можно легко и буквально за несколько минут настроить уведомления себе в Telegram прямо из парсера. О том, как это сделать, а также несколько реальных примеров - по ссылке выше.
    [​IMG]

    [​IMG]

    Фильтрация по множеству признаков

    Как известно, для фильтрации в А-Парсере используется встроенный функционал фильтров. Но бывают ситуации, когда список признаков, наличие которых нужно проверять, очень большой и его сложно вписать в строку стандартного фильтра.
    Начиная с версии 1.2.127 в A-Parser добавлена поддержка модулей Node.js. Благодаря этому появилась возможность читать список признаков из файла и использовать его для проверки страниц. О том, как это сделать, а также готовый парсер с мультифильтром - по ссылке выше.

    [​IMG]

    Парсинг рекомендаций фильмов из IMDb

    Пример решения задачи по сбору данных о фильмах и их рекомендаций на IMDb. Данная статья показывает, как можно решать задачи, которые на первый взгляд требуют много времени и ресурсов, буквально за несколько часов. Узнать о том, как спарсить весь IMDb за 1,5 часа, а также посмотреть пресет и забрать готовую базу можно по ссылке выше.

    [​IMG]

    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники рецептов:
    Сборники статей:
     
    A-Parser Support, 16.03.18
    #25
  6. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    1.2.160 - поддержка SQLite, проверка доменов на клей, Parse all results в SE::Yahoo

    [​IMG]
    Улучшения
    • Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования здесь
    • Добавлена защита от случайного закрытия окна парсера
    • В [​IMG] SE::Yahoo добавлены Parse all results и Parse related to level
    • [​IMG] SE::Yandex::TIC полностью переписан, добавлена возможность проверять домены на клей
    • В [​IMG] Rank::MegaIndex добавлена поддержка ReCaptcha2
    • Улучшен парсинг сниппетов в [​IMG] SE:: DuckDuckGo
    • Улучшен сбор почт в [​IMG] HTML::EmailExtractor
    Исправления в связи с изменениями в выдаче
    • Обновлен алгоритм Bypass Cloudflare
    • [​IMG] SE::Bing::Translator почти полностью переписан в связи с изменением логики работы переводчика Bing
    • Исправлена работа [​IMG] SE::Seznam с некоторыми видами запросов
    • Исправлен парсинг related keywords, а также мобильной выдачи в [​IMG] SE::Google::Modern
    • Исправлен парсинг related keywords в [​IMG] SE::Bing
    • Исправлена работа [​IMG] SE::IxQuick при работе с русскоязычными запросами
    • [​IMG] SE::Yandex:: Direct, [​IMG] SE::Google::ByImage, [​IMG] SE::Yandex::WordStat
    Исправления
    • Исправлена работа [​IMG] SE::Google::Modern на IPv6 прокси
    • Исправлена ошибка, из-за которой [​IMG] SE::Google::Modern собирал ссылки с пометкой опасных сайтов в общий массив ссылок
    • Исправлена работа с оператором поиска + в [​IMG] SE::Bing
    • Исправлен парсинг запросов со спецсимволами в [​IMG] SE:: DuckDuckGo
    • Исправлена работа [​IMG] Rank::MajesticSEO
    • Исправлен баг с overrideOpts в JS парсерах
    • Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов
    • Исправлена работа tools.js, баг появился в одной из предыдущих версий
    • Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий
     
    A-Parser Support, 27.03.18
    #26
  7. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    Видео урок: Создание JS парсеров. Работа с CAPTCHA

    Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.

    [​IMG]

    В уроке рассмотрено:
    • Создание JS-парсера для разгадывания капчи
    • Работа с объектом this.captcha внутри JavaScript кода
    • Описание процесса разгадывания каптчи, реализованного в A-Parser
    Статья и готовый парсер: https://a-parser.com/resources/257/

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
     
    A-Parser Support, 06.04.18
    #27
  8. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов

    22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

    Получение страниц сайта и проверка индексации в Google и Яндекс

    Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.
    [​IMG]

    Парсим title и description для TOP10 поисковой выдачи по ключевому слову

    Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.
    [​IMG]

    Поиск сабдоменов сайта

    Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется [​IMG] HTML::LinkExtractor и Parse to level для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.
    [​IMG]

    Кроме этого:
    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники рецептов:
     
    A-Parser Support, 17.04.18
    #28
  9. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    Сборник статей #3: пагинация, переменные и БД SQLite

    В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали!

    Обзор вариантов прохода по пагинации

    В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше.
    [​IMG]

    Переменные в парсерах JavaScript

    JS парсеры в А-Парсере появились уже около года назад. Благодаря им стало возможным решать очень сложные задачи по парсингу, реализовывая практически любую логику. В этой статье мы максимально подробно изучим работу с разными типами переменных, а также узнаем, как можно оптимизировать работу сложных парсеров. Все это - в статье по ссылке выше.
    [​IMG]

    Разработка JS парсера с сохранением результата в SQLite

    Начиная с версии 1.2.152 в A-Parser появилась возможность работать с БД SQLite.
    В данной статье мы рассмотрим разработку JavaScript парсера, который будет парсить курсы валют из сайта finance.i.ua и сохранять их в БД. В результате получится парсер, в котором продемонстрированы основные операции с базами данных. Подробности, а также готовый парсер - по ссылке выше.
    [​IMG]


    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники статей
     
    A-Parser Support, 27.04.18
    #29
  10. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    1.2.185 - увеличение скорости в SE::Google::Modern, новые возможности Net:: DNS, множество улучшений

    [​IMG]

    Улучшения
    • [​IMG] SE::Google::Modern - многократно увеличена скорость парсинга
    • Множество улучшений в [​IMG]Net:: DNS:
      • Возможность указать несколько DNS и задать метод выбора
      • Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
      • Возможность вывести в результат использованный DNS сервер при удачном запросе
    • В [​IMG] SE::Google::Modern добавлена опция Use sessions
    • В [​IMG] SE::Yandex::WordStat добавлена настройка пресета антигейта для логина
    • Также в [​IMG] SE::Yandex::WordStat удалены настройки Use logins/Use sessions, теперь они включены всегда
    • Добавлена возможность автоматического удаления задания из Завершенных
    • В макросе подстановок {num} добавлена поддержка обратного отсчета
    • В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
    • В JavaScript парсерах добавлена возможность прямого сохранения в файл
    • В API методе oneRequest/bulkRequest добавлена возможность указать configPreset
    • В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog
    Исправления в связи с изменениями в выдаче
    Исправления
    • Количество неудачных больше не обнуляется при постановке на паузу
    • Исправлена проблема с подключением Node.js модулей на Linux
    • Исправлено падение парсера в редких ситуациях при использовании JS парсеров
    • Решена проблема с подключением Node.js модулей lodash, sequelize
    • Исправлена ошибка итератора при равных границах в макросе {num}
     
    A-Parser Support, 08.05.18
    #30
  11. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат

    23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

    Получение категорий сайтов из Google

    Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.
    [​IMG]

    Выгрузка товаров в формате YML

    YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных данных в YML можно посмотреть по ссылке выше.
    [​IMG]

    Парсим Google новости с датой и преобразуем ее

    В поисковой выдаче Google возле новостей публикуется дата. Как правило, это могут быть метки "10 ч. назад" или "26 мая 2018 г.". Иногда может возникнуть задача спарсить все даты и привести их к единому виду. Как именно это сделать, можно узнать по ссылке выше.
    [​IMG]

    Кроме этого:
    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники рецептов:
     
    A-Parser Support, 29.05.18
    #31
  12. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    1.2.216 - улучшения в SE::Google::Modern и JS парсерах, а также множество других

    [​IMG]

    Улучшения
    • Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
    • Добавлен повтор без смены прокси при неудачной отправке рекаптчи в [​IMG] SE::Google::Modern
    • Добавлен бан прокси при получении 403 кода ответа в [​IMG] SE::Google::Modern
    • Процент неудачных запросов теперь отображается относительно числа выполненных запросов
    • Добавлена возможность вызвать URL после выполнения задания
    • Улучшен обзор каталогов при выборе файлов запросов
    • Добавлена поддержка setInterval в JavaScript парсерах
    • Уменьшено Wait between get status и улучшено логгирование в [​IMG] Util::ReCaptcha2
    • Улучшена обработка редиректов
    • Добавлена защита от бесконечного выполнения в JavaScript парсерах
    • Значительно увеличены возможности check_content в JS парсерах
    • В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлено ведение лога при нескольких паузах задания
    • Исправлена ошибка, из-за которой запрос считался неудачным при пустой выдаче в [​IMG] SE::Google::Modern
    • Исправлена работа с url, содержащими фрагмент # в [​IMG] Net::HTTP
    • Исправлен парсинг ссылок в [​IMG] HTML::LinkExtractor
    • Исправлена работа опции Pages count в [​IMG] SE::Yandex
    • Исправлен выбор файлов запросов на Windows 10
    • Исправлена ошибка, из-за которой иногда нельзя было удалить файл с запросами
    • Исправлено отображение проксичекера в конфиге потоков
    • Исправлена кодировка некоторых результатов в [​IMG] SE::Google::Suggest
    • Исправлена ситуация, когда не читались настройки из config.txt
     
    A-Parser Support, 12.06.18
    #32
  13. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    Сборник рецептов #24: уведомление в Telegram об экспайре доменов, чекер РКН и работа с SQLite

    24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!

    Получаем уведомления в Telegram об окончании срока регистрации доменов

    Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.
    [​IMG]

    Проверка блокировки РосКомНадзора через GitHub

    В А-Парсере есть стандартный парсер [​IMG] Check::RosKomNadzor, который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса, для работы обязательно нужно подключать антигейт. Кроме того, официальный сервис РКН часто подвергается атакам, в связи с чем может быть недоступен. Но существуют альтернативные источники данных, доступность которых значительно выше и к тому же не требующие проверки в виде каптчи. Парсинг одного из таких источников и реализован в пресете по ссылке выше.
    [​IMG]

    Простой парсер обменника с записью в БД SQLite

    Как известно, в A-Parser есть возможность чтения/записи данных в БД SQLite. В этом рецепте показано использование этого функционала на примере парсинга курсов валют. Готовый парсер доступен по ссылке выше.
    [​IMG]

    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники рецептов:
     
    A-Parser Support, 22.06.18
    #33
  14. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    1.2.246 - обновление базы Rank::CMS и новые функции в парсерах Baidu и MajesticSEO

    [​IMG]
    Улучшения
    • В [​IMG] Rank::CMS обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json)
    • [​IMG] SE::Baidu полностью переписан:
      • добавлен парсинг related keywords
      • убран $cachedate из $serp, т.к. его похоже больше нет в выдаче
      • добавлена опция Get full link, преобразующая обрезанные ссылки в полные
      • исправлены некоторые регулярные выражения и баг с двойным http в ссылках
    • Изменения в [​IMG] Rank::MajesticSEO:
      • Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL
      • Убран параметр Extract domain
      • Исправлена работа в некоторых случаях
    • Улучшена отзывчивость в редакторе JavaScript парсеров
    • Улучшена работа [​IMG] HTML::EmailExtractor, устранены зависания, которые возникали на определенных страницах
    • Обновлен список регионов в парсерах Яндекс
    • Пустой результат в [​IMG] SE::Google::Trends больше не считается неудачным запросом
    • Улучшена работа с сессиями в [​IMG] SE::Yandex::WordStat
    Исправления в связи с изменениями в выдаче
    • Исправлен парсинг рекламы в [​IMG] SE::Yandex
    • Исправлена работа, а также улучшен алгоритм парсинга в [​IMG] SE::DuckDuckGo
    • Исправлено указание региона в парсерах Яндекс
    • Исправлен парсинг $ads.$i.visiblelink в [​IMG] SE::Google::Modern
    • Исправлен парсинг $totalcount в [​IMG] SE::Yandex::Direct
    Исправления
    • Исправлена ошибка, из-за которой процент обработанных запросов мог быть больше 100
    • Исправлены ошибки, из-за которых парсинг мог зависать при снятии с паузы, а также сбивался перебор в макросах подстановок
    • Исправлено отображение кириллицы в $headers в [​IMG] Net::HTTP
    • Исправлена ошибка в Конструкторе результатов, из-за которой в редких случаях парсер мог падать
    • Устранена проблема с кодировкой при работе с SQLite
    • Исправлена ошибка со сменой прокси в JavaScript парсерах
     
    A-Parser Support, 03.07.18
    #34
  15. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    Сборник статей #4: добавление товаров в OpenCart и парсинг JSON

    В 4-м сборнике статей будет рассмотрено добавление товаров в OpenCart, а также описано создание универсального парсера JSON. В каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

    Работаем с OpenCart. Часть 1. Вступление.

    Данная статья начинает цикл об одной из наиболее часто запрашиваемых возможностей - заливке товаров в интернет-магазин. A-Parser - это универсальный инструмент, который кроме прочего может решать и такие задачи. Для тестов выбран движок OpenCart, в 1-й статье будет рассмотрена авторизация, получение списка товаров и добавление товара. Подробности, а также пример парсера - по ссылке выше.
    [​IMG]

    Парсинг JSON ответов и работа с их содержимым

    JSON - это довольно популярный способ предоставления данных, который, например, часто используется при работе с API различных сервисов. В А-Парсере есть встроенные инструменты для работы с ним, но не всегда их применение может быть простым, иногда требуется дополнительно писать сложные шаблоны, используя шаблонизатор. Поэтому в статье по ссылке выше будет рассказано, как написать простой универсальный парсер JSON.
    [​IMG]

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники статей
     
    A-Parser Support, 13.07.18
    #35
  16. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    Видео урок: Создание JS парсеров. Работа с SQLite
    Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео показано, как работать с базой данных SQLite в JS парсере.



    В этом уроке рассмотрены:
    • Знакомство с языком запросов SQL
    • Создание простейшей базы данных SQLite при работе с JS-парсером
    • Получение и запись данных в базу SQLite при работе с JS-парсером
    Ссылки:

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
     
    A-Parser Support, 24.07.18
    #36
  17. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    1.2.270 - новый парсер Rank::Curlie, множество доработок в Node.js функционале

    [​IMG]

    Улучшения
    • Добавлен новый парсер [​IMG] Rank::Curlie
    • В [​IMG] HTML::LinkExtractor улучшена обработка портов по умолчанию, теперь ссылки с портом приводятся к каноническому виду
    • Оптимизирована работа [​IMG] SE::Yandex::WordStat
    • Улучшена работа с сессиями в [​IMG] SE::Yandex
    • Улучшена обработка некорректных ответов в [​IMG] SE::Yandex [​IMG] SE::Google::Suggest
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена проблема с запуском на некоторых linux дистрибутивах
    • Исправлена загрузка node.js модулей в редких случаях на Windows
    • JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
    • JS парсеры: исправлен util.promisify
    • Исправлена работа некоторых Node.js модулей
    • В [​IMG] SE::Google::Modern и [​IMG] SE::Bing $totalcount при 0 результатов теперь возвращает 0
    • Исправлено логгирование в режиме foreground
     
    A-Parser Support, 03.08.18
    #37
  18. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    25-й сборник рецептов
    25-й сборник рецептов. В нем будет показан способ периодического парсинга с дозаписью результатов в таблицу, рассмотрен парсинг с помощью Node.js модуля Cheerio без использования регулярных выражений, а также показан парсер первой мобильной поисковой системы в Китае - Shenma. Поехали!

    Периодическая проверка обратных ссылок с дозаписью результатов в таблицу
    Пример решения одной из наиболее запрашиваемых задач - дозапись периодически получаемых результатов в одну и ту же таблицу. В качестве хранилища данных используется SQLite, при каждом запуске данные добавляются и выводятся в таблицу. Готовый пресет с комментариями - по ссылке выше.
    [​IMG]

    Парсер поисковой системы Haosou
    Как известно, в основе почти любого парсера используются регулярные выражения, реже - XPath. Работа с этими методами требует определенных знаний, что в свою очередь может вызывать некоторые сложности. Поэтому существуют и другие методы. Использование одного из них на примере парсинга популярного в Китае поисковика Haosou, показано по ссылке выше.
    [​IMG]

    Парсер китайского поисковика Shenma
    Еще один китайский поисковик в этом сборнике - Shenma. Это первая мобильная поисковая система в Китае, ориентирована в первую очередь на мобильные сайты. Пресет - по ссылке выше.
    [​IMG]

    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники рецептов:
     
    A-Parser Support, 14.08.18
    #38
  19. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    Видео урок: Создание JS парсеров. Реализация подстановки запросов и их многопоточной обработки.
    Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.

    В одной из наших статей мы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
    К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.

    В этом уроке рассмотрено:
    • Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
    • Подстановка запросов в задание "на лету"
    • Использование стандартных парсеров в кастомных JavaScript парсерах
    Ссылки:
    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
     
    A-Parser Support, 24.08.18
    #39
  20. A-Parser Support

    A-Parser Support Пользователь Вебмастер

    Регистрация:
    19.05.17
    Сообщения:
    206
    Симпатии:
    3
    1.2.292 - новый парсер Яндекс ИКС, улучшения в работе с кодировками, оптимизации встроенных парсеров
    [​IMG]
    Улучшения
    • Добавлен парсер [​IMG]SE::Yandex::SQI - парсер Индекса качества сайта (Яндекс ИКС)
    • Оптимизирована работа Очереди заданий
    • Добавлена поддержка множества экзотических кодировок китайского языка
    • Добавлена опция Save as UTF-8 with BOM, которая решает проблему определения кодировки при открытии сформированного CSV в Excel
    • [​IMG]SE::Youtube полностью переписан с использованием современного юзерагента
    • [​IMG]SE::AOL::Suggest оптимизирован и переписан на JavaScript
    • Улучшена работа [​IMG]SE::Google,[​IMG]SE::Google::Modern, [​IMG]Rank::MajesticSEO,[​IMG]SE::Bing,[​IMG]Shop::Amazon
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа [​IMG]Net::Whois для некоторых доменных зон
    • Исправлена ошибка, при которой не импортировался пресет, если не установлены модули, используемые в нем
    • Исправлена кодировка при использовании fs.readdirSync в JS парсерах
     
    A-Parser Support, 04.09.18
    #40
Страница 2 из 11

Поделиться этой страницей