A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

NextGen UI — новый интерфейс A-Parser

В новом обновлении мы завершили переход на NextGen UI — теперь он используется по умолчанию в версиях A-Parser для Windows и Linux.

Интерфейс полностью переписан с нуля на новой архитектуре, работает в браузере и в формате Desktop-приложения, поддерживает тёмную тему и сохраняет привычные возможности A-Parser.

С момента первой тестовой версии NextGen UI получил множество крупных улучшений: расширенную работу с логами, встроенные инструменты тестирования и отладки, улучшенное управление заданиями и пресетами, планировщик, групповые операции и автоматическое восстановление после сбоев.

Основные возможности NextGen UI

• Расширенная работа с логами. Доступны поиск, фильтрация, выделение, копирование и скачивание записей. Логи отображаются непосредственно при тестировании задания в редакторе, а отладочный вывод можно быстро включать и отключать.
• Наглядная отладка. JS-дампы, HTTP-запросы и ответы отображаются в виде раскрываемых JSON-деревьев, изображения выводятся прямо в логах. Для регулярных выражений добавлен быстрый переход во встроенный Тестер регулярок.
• Улучшенный Parser Test. Настроенный в тестере парсер можно перенести непосредственно в редактор задания. При замене парсера предлагается сохранить совместимые переопределённые настройки.
• Информативная очередь заданий. В очереди отображаются используемый пресет, настройки парсера, точное время запуска и расчётное время до завершения. Добавлены массовое выделение заданий и групповые действия.
• Удобное управление пресетами. Пресеты можно переименовывать, искать и сортировать. При импорте пресет сначала открывается в редакторе, где его можно проверить и изменить перед сохранением. Для действий «по завершении» добавлены отдельные поля выбора пресетов заданий и конфигураций потоков.
• Встроенные инструменты. В NextGen UI доступны планировщик заданий, Тестер регулярных выражений, редактор tools.js, расширенные настройки и диалог API-запроса с редактором кода.
• Сохранение рабочего состояния. Интерфейс запоминает открытые разделы, выбранные вкладки, страницы очереди, прокрутку, положение и размер окон, а также состояние редактора JS-парсеров.
• Обновлённая тёмная тема. Переработана цветовая схема, повышена контрастность и улучшены визуальные акценты в редакторе заданий.
• Работа с большими объёмами данных. Ускорена загрузка логов, снижена нагрузка на диск, большие списки файлов подгружаются постепенно по кнопке «Загрузить ещё».
• Автоматическое обслуживание. Хост и порт ядра настраиваются через интерфейс, свободный порт подбирается автоматически. После сбоя ядро перезагружается, а после обновления A-Parser автоматически перезапускается.

Полностью восстановлена работа SE::Google

Вторым ключевым изменением обновления стало полное восстановление работы парсера Google.

В последние недели Google последовательно усиливал защиту и менял механизмы формирования выдачи, из-за чего сбор результатов стал заметно сложнее. Работа над адаптацией парсера велась практически непрерывно.

В результате:

• полностью восстановлена работа Google в режиме Browser на Windows и Linux для профилей desktop и mobile;
• полностью восстановлена работа HTTP-режима на всех платформах и профилях;
• улучшена работа с пагинацией;
• добавлено определение неполной выдачи — одной из разновидностей защиты Google;
• добавлено определение новой капчи «Verifying your request»;
• исправлено смешивание браузерных заданий при работе через Redis API;
• восстановлена работа Google Images;
• исправлена работа Google Translate в режиме desktop;
• восстановлен сбор отзывов в Google Reviews;
• исправлен вывод общего количества отзывов $totalcount;
• исправлен сбор переменной $claim в Google;
• добавлен сбор общего рейтинга организации $avgrating.

Новый парсер SE::Rutube

Добавлен новый парсер Rutube для сбора результатов поиска видео на Rutube.

Улучшения

• Whois - добавлена работа через серверы RDAP и переменная $rdapserver. Добавлена поддержка доменных зон `.gr` и `.ελ`.
• Wildberries ProductInfo - добавлен сбор цены с кошельком WB в переменную $walletPrice.
• Turnstile - добавлена возможность обработки Cloudflare Turnstile через XEvil.
• GroupScraper - добавлены новые переменные и массивы, фильтр по дате и возможность пропускать пересланные сообщения.
• TikTok Profile - парсер переведён на Puppeteer для обхода блокировки HTTP-запросов со стороны Akamai; восстановлен сбор ссылок на подписки.
• Kimi - восстановлена работа и добавлена авторизация через Bearer token.
• Brave - добавлена обработка капчи.

Исправления в связи с изменениями на источниках

• Bing - исправлен парсинг в режимах Browser и HTTP.
• You - восстановлена работа парсера.
• Startpage - восстановлена работа основной выдачи.
• Startpage Videos и Startpage Images - восстановлена работа парсеров.
• DuckDuckGo и DuckDuckGo Images - восстановлена работа парсеров.
• Instagram Search - восстановлена работа, исправлена ошибка 403 Forbidden.
• Instagram Tag - устранены дубли публикаций в результатах.
• Instagram Profile - восстановлена работа и исправлена смена прокси при сборе подписчиков.
• Wildberries ProductsList - восстановлена работа и исправлен нестабильный сбор данных.
• Wildberries ProductInfo - восстановлена работа и исправлены ошибки на отдельных запросах.
• Amazon - исправлен сбор части результатов.
• Domain - восстановлен обход Cloudflare.
• Turnstile - исправлена работа в режимах Browser и Auto.
• Whois - исправлена работа с зонами `.direct`, `.insure`, `.global`, `.services`, `.travel` и `.co`.
• ChatGPT - исправлен парсинг списков.
• Perplexity, DeepAI и Translator - восстановлена работа.
• Radar, LastPrice и Mustat - восстановлена работа.

​