Just User.
← Все гайды

ПАРСЕР

Scrapling — сбор данных с сайтов

ПАРСЕР — как собирать данные с сайтов через Scrapling

Что это Scrapling — открытый Python-инструмент для получения страниц и извлечения данных. Через MCP агент может использовать его в твоей задаче. Начни с одной публичной страницы и небольшой таблицы. Скорость из бенчмарков не гарантирует такую же разницу на твоём сайте, а адаптивный поиск элементов требует настройки.

Оригинальный репозиторий

Открыть материал ↗github.com/D4Vinci/Scrapling

Официальная инструкция MCP

Открыть материал ↗scrapling.readthedocs.io/en/latest/ai/mcp-server.html

1. Подготовь окружение

Нужен Python 3.10+ и установленный Claude Code. Проверь в терминале:

Текст для копирования
python --version
python -m pip --version

Если Python не найден, попроси агента помочь с установкой под твою ОС. Устанавливай зависимости в отдельное окружение проекта; команды ниже выполняются в терминале с активным окружением.

2. Установи Scrapling

Выполни по очереди:

Текст для копирования
pip install "scrapling[ai]"
pip install "scrapling[fetchers]"
scrapling install

Последняя команда устанавливает браузерные компоненты. Дождись завершения перед подключением к агенту.

3. Подключи к Claude Code

Если scrapling-mcp доступен в PATH, в том же терминале:

Текст для копирования
claude mcp add ScraplingServer scrapling-mcp

Затем перезапусти Claude Code и проверь сервер через /mcp. Надёжнее использовать полный путь к установленному scrapling-mcp. В Windows найди его командой where.exe scrapling-mcp, в macOS/Linux — which scrapling-mcp. Если команда регистрации не сработала, попроси агента подставить найденный полный путь в кавычках. Это особенно важно для виртуальных окружений.

4. Первая таблица с ценами

Укажи конкретный адрес страницы вместо слов «этот сайт».

Текст для копирования
Используй Scrapling для указанной публичной страницы магазина. Сначала проверь правила сайта. Собери не более 10 товаров: название, цена, валюта, наличие и ссылка. Сохрани в CSV. Не придумывай отсутствующие поля и покажи три строки для ручной проверки. Не переходи к массовому обходу.

CSV можно открыть в Excel или Google Таблицах. Проверь, что цена относится к нужному размеру или варианту товара, а не к рассрочке или старой цене.

5. Контакты организации

Текст для копирования
С указанной страницы «Контакты» извлеки только опубликованные контакты организации: общий телефон, почту и адрес. Для каждого поля укажи страницу-источник. Если поля нет, так и напиши. Не собирай личные данные сотрудников.

6. Ежедневная проверка цены

Само подключение MCP не создаёт фоновое расписание. Нужен скрипт, сохранение предыдущей цены и планировщик на компьютере или сервере. Выключенный компьютер не выполнит локальную задачу. Запрос для подготовки:

Текст для копирования
Подготовь мониторинг одной страницы раз в сутки: сохраняй цену, время проверки и ссылку, сравнивай с прошлым значением. Сначала покажи скрипт и способ запуска вручную. Предложи планировщик под мою ОС, но не включай расписание до проверки результата и моего подтверждения.

7. Если что-то не работает

Сервер не подключается: проверь /mcp, полный путь к scrapling-mcp и окружение установки. Ярлык scrapling-mcp появился в версии 0.4.13; для старой версии нужен запуск scrapling с аргументом mcp либо обновление. Страница пустая: попроси проверить, подгружаются ли данные JavaScript, и выбрать подходящий fetcher. Изменилась вёрстка: проверь извлекаемые поля и настройку адаптивного поиска. Он не гарантирует восстановление на любом сайте. Ошибка 403 или 429: останови повторные запросы, проверь ограничения и доступный официальный API.

Важно: соблюдай правила сайта и robots.txt, используй небольшую частоту запросов. robots.txt сам по себе не даёт разрешение на любой сбор. Не собирай закрытые или личные данные без разрешения. Сам Scrapling бесплатный; агент, сервер и дополнительные сервисы могут иметь отдельную стоимость.

Все материалы из роликов

Открыть материал ↗t.me/justuserai