Firecrawl — извлечение контента сайтов для агентов✦
Firecrawl — это профессиональный инструмент для AI-агентов, который вытягивает содержимое произвольного сайта (текст, изображения, структуру) и отдаёт его в виде чистого Markdown, удобного для анализа моделью. В нашем опыте — это один из пяти инструментов Claude Code, которыми автор пользуется каждый день при сборке агентных систем. Его роль в системе: заменить встроенный веб-инструмент Claude там, где нужен по-настоящему детальный парсинг страниц.
Зачем он нужен✦
Встроенное чтение сайтов в Claude годится для простых задач, но для глубокого разбора или парсинга оно, по опыту команды, недостаточно. Firecrawl же под капотом рендерит JavaScript и убирает «шум» (реклама, навигация, футеры), возвращая чистый Markdown или структурированный JSON, оптимизированные под LLM. За счёт этого агенту удобно анализировать выгруженный контент — вплоть до изображений и раскладки страницы.
Firecrawl + Exa Search в связке✦
В нашем сценарии Firecrawl работает в паре с Exa Search: Exa ищет нужные страницы в интернете (например, сайты конкурентов), а Firecrawl их парсит и приводит к формату, пригодному для анализа агентом. То есть разделение такое: Exa — поиск, Firecrawl — извлечение содержимого. В нашей агентной системе именно Firecrawl обслуживал агента-аналитика сайта, а найденных Exa конкурентов затем прогоняли через Firecrawl для сравнения.
Подключение к Claude Code (MCP)✦
Firecrawl подключается к Claude Code как MCP-сервер по API-ключу. Ключ берётся в личном кабинете после регистрации на firecrawl.dev; официальная команда установки:
claude mcp add firecrawl -e FIRECRAWL_API_KEY=<ваш-ключ> -- npx -y firecrawl-mcp
Вместо <ваш-ключ> подставьте ключ из дашборда Firecrawl. После установки
не забудьте прописать инструмент в инструкциях тех суб-агентов, которые
должны им пользоваться, — иначе они продолжат работать со встроенными
инструментами. Через MCP Firecrawl даёт агенту набор операций: scrape
(одна страница в Markdown/JSON), crawl (обход целого сайта), map (список
всех URL), search (поиск + выгрузка контента) и extract
(структурированное извлечение по схеме).