FlowCrawler: универсальный парсер и постер

FlowCrawler: универсальный парсер и постер

Здравствуйте.

Меня зовут Владимир Обухов, я создаю программы для вэба. Некоторые из вас могут знать меня как автора и одного из ведущих разработчиков InstantCMS – отечественного движка для социальных сайтов. Сегодня я хочу представить вам новый проект. Он по-настоящему крут

FlowCrawler – программа для автоматизации браузера. Она позволяет автоматически собирать и/или публиковать данные в Интернет. По сути, это визуальный конструктор ботов. В нём всё делается мышкой, писать регулярки и селекторы руками не обязательно.

В отличие от традиционных парсеров и постеров, FlowCrawler не заточен строго под определенные сайты. Вместо этого, он позволяет вам создавать любую собственную логику в виде блок-схемы. Вы определяете алгоритм, а бот делает любую работу – парсит сайты или сторонние API, скачивает файлы, заполняет формы и много чего еще. В рамках одного проекта бот может парсить и постить на множество сайтов одновременно.

Ближайший (и, пожалуй, единственный) известный аналог – знаменитый ZennoPoster. Однако, FlowCrawler это не клон ZP. Он использует другой подход к созданию схем. И стоит гораздо дешевле (об этом в конце поста).

Основные возможности программы

  • Основано на Chromium;
  • Доступны версии для Windows (7+) и Linux;
  • Полная натуральная эмуляция браузера и живого пользователя;
  • Парсинг: Направьте FlowCrawler на нужный URL и покажите, каким путём вы хотите пройти по сайту и какие части страниц извлечь;
  • Лёгкость настройки – никаких регулярных выражений для выборки со страниц;
  • Постинг: Автоматически заполняйте формы и выполняйте любые действия на целевых сайтах;
  • Обработка данных: фильтруйте, изменяйте, комбинируйте любые данные (строки, числа, JSON) в процессе парсинга;
  • Интеграция с ОС: запускайте внешние программы с нужными аргументами в процессе парсинга и читайте их вывод, изменяйте локальные файлы и папки;
  • Экспорт в CSV, JSON, XML и другие форматы;
  • Работа с файлами: чтение, копирование, удаление, создание папок, рекурсивное чтение папок;
  • Работа с изображениями: загрузка, изменение размера, обрезка, сохранение;

Эмуляция живого пользователя

  • FlowCrawler не отличим от живого человека для любого сайта;
  • Все сайты грузятся в настоящем браузере (в фоне или на виду), что позволяет обходить большинство проверок на ботов;
  • Возможность эмуляции действий мыши, нажатий кнопок, скроллинга, событий JavaScript и др;
  • Возможность настройки User Agent, Referer и других заголовков;
  • Автоматический подбор, подключение и ротация прокси;

В ближайших планах

  • Планировщик – инструмент для запуска проектов FlowCrawler по расписанию в фоне;
  • Интеграция с распознавателями каптч и другими полезными сервисами;

Это далеко не всё, т.к. описать полный набор возможностей в рамках одного поста было бы проблематично.

Видео-примеры:

Все видео: http://flowcrawler.com/video

Покупка программы

На данный момент программа находится в активной разработке и доступна в раннем доступе. Это значит что вы уже можете купить её и начать пользоваться прямо сегодня, но некоторые функции еще не готовы и появятся ближе к релизу. Апдейты выходят в среднем каждые 2 недели.

Официальный релиз программы состоится 1 мая 2017.
Стоимость программы после релиза составит 8900 руб.
(за 1 пользователя + год обновлений).

А теперь самое интересное:

До релиза, т.е. прямо сейчас, программу можно купить по специальной цене – всего 4900 руб. Кроме того, при покупке в раннем доступе, бонусом вы получите бесплатную вечную подписку на обновления, которую не нужно будет продлевать за деньги каждый год!

В этой теме буду рад ответить на ваши вопросы. Ещё больше буду рад вашим покупкам, т.к. они помогают мне не отвлекаться на стороннюю работу и быстрее доводить FlowCrawler до совершенства. Да и когда ещё можно будет увидеть столь щедрое предложение на подобное ПО?

Как купить программу написано здесь: http://flowcrawler.com/buy

PS: Бесплатного теста нет по двум причинам. Во-первых, я не хочу прямо сейчас тратить уйму времени на создание защиты триальных версий (лучше сделать что-нибудь полезное в самой программе). Во-вторых, программой уже пользуются более 50-ти человек, купивших её вслепую, по предзаказу. Они сделали это чтобы поддержать меня и разработку.

Дополнительная информация

Официальный сайт: http://flowcrawler.com
Почта для вопросов: [email protected]
Обсуждение на форуме InstantCMS: http://www.instantcms.ru/forum/thread26894-1.html

Спасибо, что уделили время этому посту.

Leave a Comment

Your email address will not be published. Required fields are marked *

Shares