Norconex HTTP Collector: быстрый поиск информации в интернете

Поисковые системы помогают быстро находить нужную информацию в интернете. Программа Norconex HTTP Collector — это вспомогательный инструмент, который позволяет быстро сканировать сайты и сохранять результаты на компьютере или отправлять их сразу в поисковую систему.

Программа поддерживает многопоточные операции, что позволяет получать результаты за короткое время. Это особенно полезно при работе с большими сайтами.

После того как цель задана, программа автоматически пытается определить язык сайта. Она может извлекать текст из всех прикреплённых изображений и PDF-файлов благодаря поддержке OCR-задач. Также поддерживаются другие форматы, такие как HTML и документы Office. Программа может обрабатывать канонические URL-адреса.

При запуске заданий можно настроить несколько параметров, например, скорость сканирования. Можно настроить программу так, чтобы она обрабатывала встроенные документы как отдельные файлы и создавала иерархические поля.

Фильтрацию выходных документов можно выполнять на основе URL-адресов или заголовков HTTP. Для этого также можно использовать метаданные.

Для удобства использования доступно несколько примеров, которые позволяют разработчикам и пользователям оценить возможности инструмента.

Похожие программы

Collect URL

Создавайте полные списки ссылок с любого веб-сайта.

TCP Splitter

Программа позволяет разделить поток данных и безопасно обрабатывать информацию в сети.

Manyverse

Manyverse предлагает альтернативу популярным соцсетям: основанную на одноранговом подключении платформу с фокусом на кон...

sbe

Централизованное решение для одновременной работы над проектами в команде.

LinkedIn Company Extractor

LinkedIn Company Extractor — простое приложение для сбора и экспорта данных о компаниях с LinkedIn.

soapUI

Кроссплатформенный инструмент soapUI для функционального и нагрузочного тестирования веб-сервисов.

Cyclone's URL Spider

Инструмент для создания списков слов и n-грамм для сканирования URL-адресов

SmartLaunch

SmartLaunch помогает управлять игровыми центрами: статистика, контроль расходов, информация о клиентах.

CompanionLink for Google

Программа для синхронизации данных между устройствами и аккаунтами Google

Kiwi Syslog Server

Kiwi Syslog Server собирает и анализирует логи с устройств, уведомляет о критических событиях в сети.

Автор статьи: Аркадий Кузнецов