Just User.
← Все гайды

Earshot: как дать Claude Code и Codex «уши» для работы со звуком

Нужно выбрать щелчок для кнопки, вырезать одно нажатие из длинной записи или понять, почему вуш опаздывает за сменой кадра? Earshot даёт агенту инструменты для анализа звука: измеряет громкость и время, сравнивает файлы и помогает найти подходящий фрагмент.

Начни с простого — создай один эффект, послушай его и только потом переходи к готовому ролику.

Репозиторий Earshot и инструкция автора

1. Подключи Earshot к своему агенту

Создай папку для работы со звуками и открой её в Claude Code или Codex. Это должен быть агент на компьютере, у которого есть доступ к файлам и терминалу.

Отправь ему этот запрос:

Прочитай README https://github.com/Leonxlnx/earshot и помоги установить Earshot на моём компьютере. Проверь uv, Git, ffmpeg и ffprobe. Подключи Earshot через MCP к агенту, в котором я сейчас работаю, сохранив остальные MCP-настройки. Если для анализа нужны модели, сначала скажи, сколько места они займут. Затем проверь подключение и объясни, нужно ли открыть новую сессию.

Что понадобится. Установщик использует uv, а работа с аудио и видео — ffmpeg и ffprobe. Анализ работает на процессоре, отдельная видеокарта не нужна. Две модели занимают примерно 1,1 ГБ; зависимости и рабочие файлы потребуют дополнительного места. Первое обращение к моделям может занять десятки секунд.

Сам проект открытый. Работа Claude Code или Codex расходует твой обычный лимит или API. Дополнительный разбор через Gemini не нужен для этого гайда: он требует отдельного ключа и согласия на отправку файла.

Если хочешь установить вручную

В терминале выполни:

uv tool install "earshot[mcp] @ git+https://github.com/Leonxlnx/earshot"

Чтобы заранее скачать модели для анализа:

earshot doctor --fetch

Для Claude Code добавь MCP из терминала:

claude mcp add earshot --scope user -e EARSHOT_THREADS=3 -- earshot mcp

После этого открой новую сессию Claude Code и проверь подключение через /mcp. Для Codex попроси агента добавить MCP с командой earshot и аргументом mcp в его конфигурацию. Команда claude mcp add относится к Claude Code.

2. Создай первый звук — ролик пока не нужен

Во встроенном наборе больше 250 эффектов. Их можно создать без скачивания моделей анализа.

Через Earshot найди во встроенном наборе мягкий короткий UI-поп. Сначала проверь доступные названия эффектов, затем создай подходящий и сохрани его как pop.wav в текущей папке. Покажи путь к готовому файлу. Для этого теста используй встроенный набор, без облачных сервисов.

Проверка: открой pop.wav и послушай. Если он слишком звонкий или резкий, попроси ещё два варианта. Сравнивай их на одинаковой комфортной громкости.

3. Выбери эффект из своей папки

Создай папку sounds рядом с проектом и положи туда несколько кликов. Если хочешь оценить, как они звучат под речью, добавь короткий фрагмент своего голоса.

В папке sounds лежат варианты клика. Сравни их через Earshot. Нужен короткий щелчок для появления карточки: без резкого пика и длинного хвоста. Выбери два подходящих файла, покажи их длительность и пиковый уровень, объясни различия. Если рядом есть файл с голосом, сделай два коротких примера под ним для прослушивания. Исходники сохрани.

Прослушай оба примера и выбери сам. Измерения помогают отсеять слишком громкий или длинный эффект, а окончательное решение зависит от твоего ролика.

4. Вырежи одно нажатие из длинной записи

Добавь запись печати на клавиатуре в рабочую папку. Укажи агенту её имя:

В файле typing.wav найди через Earshot несколько отдельных нажатий клавиши. Покажи начало и конец каждого фрагмента. Выбери одно чистое нажатие без соседнего щелчка, вырежи его в keypress.wav и добавь короткие плавные края, чтобы обрезка не щёлкала. Оригинал не меняй.

Открой получившийся файл. Проверь, что в нём одно нажатие, начало не обрезано, а в конце не осталось лишнего шума.

5. Проверь звук в готовом ролике

Положи MP4 в ту же папку. Для точного разбора полезно добавить исходный файл вуша или дорожку эффектов отдельно.

Разбери video.mp4 через Earshot. Найди заметные смены кадра и начало или пик вуша рядом с ними. Для каждого выбранного момента покажи таймкод смены кадра, таймкод звука и разницу в миллисекундах. Объясни, какой момент эффекта сравниваешь со склейкой. Предложи конкретный сдвиг раньше или позже. Если музыка мешает распознать звук, скажи об этом. Монтаж пока не меняй.

Не каждый эффект должен начинаться ровно на склейке: у вуша перед ней может идти разгон. Согласуй, где должен оказаться его пик, затем попроси сделать короткий фрагмент «до / после» и послушай.

Если что-то не работает

Отправь агенту текст ошибки и попроси проверить установку:

Earshot не выполнил запрос. Вот ошибка: [вставь текст]. Проверь earshot doctor, доступность ffmpeg и ffprobe, настройки MCP и наличие моделей. Объясни причину и предложи одно следующее действие. Сохрани остальные настройки агента.

Earshot помогает измерять звук и находить кандидатов. В плотном миксе он может ошибиться с названием события, поэтому спорные места лучше проверять по отдельной дорожке и на слух. Что инструмент умеет и где может ошибаться.