SmartDJ позволяет пользователям изменять звучание с помощью простых слов

Инженеры Пенсильванского университета разработали SmartDJ — редактор на основе искусственного интеллекта, позволяющий пользователям изменять иммерсивные звуковые среды с помощью простых инструкций на понятном языке. Он может найти применение в виртуальной реальности, дополненной реальности, играх и звуковом дизайне. Вместо того чтобы требовать от пользователей указания

отдельных параметров редактирования, SmartDJ может реагировать на запросы высокого уровня, например, «сделать так, чтобы это звучало как оживленный офис», а затем планировать и выполнять необходимые шаги для достижения этого результата. Система устраняет два основных недостатка более ранних инструментов редактирования аудио с использованием ИИ. Во-первых, большинство

предыдущих систем лучше всего работали с жесткими, шаблонными командами, требуя от пользователей идентификации звуков для добавления или удаления. Во-вторых, эти инструменты, как правило, работали с одноканальным или «моно» аудио, теряя пространственные нюансы, необходимые для полного погружения в звук. SmartDJ, напротив, способен

интерпретировать инструкции высокого уровня и предназначен для стереофонического звука, что позволяет ему вносить изменения, которые лучше сохраняют или изменяют пространственную структуру сцены. Более того, система является интерпретируемой: пользователи могут видеть каждый шаг, который предпринимает SmartDJ. Например, запрос типа «сделайте так, чтобы это звучало как оживленный офис» может

привести к тому, что SmartDJ сгенерирует инструкцию типа «Добавьте звук звонка телефона справа на 3 дБ». Затем пользователи могут изменять, удалять или добавлять отдельные шаги, обеспечивая больший контроль над конечным результатом. «С помощью SmartDJ пользователи могут описать желаемый результат на естественном языке, а система сама определит, как этого добиться», — говорит Минмин Чжао, доцент кафедры компьютерных и информационных наук (CIS). «Мы

показываем, что ИИ может помочь людям редактировать аудио интуитивно понятным способом, используя простой язык». Чжао является ведущим автором исследования, представленного на этой неделе на Международной конференции по изучению представлений ( ICLR 2026 ), проходившей в Рио-де-Жанейро. Статья также доступна на сервере препринтов arXiv. Сочетание языковых и диффузионных моделей Одна из главных

проблем редактирования аудио с помощью ИИ заключается в том, что понимание запроса пользователя и генерация звуков обычно обрабатываются различными типами систем ИИ. «Мы используем языковые модели для работы с текстом», — говорит Цзитун Лан, аспирант кафедры электротехники и системотехники (ESE) и первый автор исследования. «Кроме того, мы используем модели диффузии

для редактирования звуков». Разница сводится к тому, чему каждая система была обучена. Языковые модели — та же технология, которая лежит в основе чат-ботов — изучают закономерности в словах, помогая им интерпретировать смысл, который вкладывают пользователи, и генерировать текст в ответ. Диффузионные модели, напротив, предназначены для

создания медиаконтента путем постепенного преобразования шума в связный сигнал. Чтобы преодолеть этот разрыв, команда внедрила в процесс редактирования аудиоязыковую модель (ALM). Обученная как на звуке, так и на тексте, ALM анализирует исходный аудиоматериал вместе с запросом пользователя, а затем разбивает этот запрос на последовательность более мелких действий редактирования, таких как добавление, удаление или изменение

положения звука. Затем модель диффузии выполняет эти действия шаг за шагом, позволяя SmartDJ как интерпретировать язык, так и редактировать аудио. По сути, языковая модель выступает в роли продюсера, определяя, как должно меняться звуковое оформление, в то время как модель диффузии действует как студийный музыкант, воплощая эти указания в

аудио. «Языковая модель задает системе направление», — говорит Идуо Хао, аспирант CIS и соавтор исследования. «Модель диффузии выполняет эти указания». Обучение SmartDJ Чтобы научиться преобразовывать общие запросы пользователей в пошаговые аудиоредактирования, SmartDJ потребовались примеры, которые объединяли бы сразу три вещи: общую инструкцию, последовательность действий по редактированию,

необходимых для ее выполнения, и аудио до и после каждого изменения. К сожалению, таких обучающих данных не существовало. «Для решения этой проблемы требовался совершенно необычный набор данных, — говорит Лан. — Он должен был одновременно отражать цель, этапы и результат». Поэтому команда разработала его самостоятельно. Опираясь на общедоступные

звуковые библиотеки, исследователи создали конвейер, который использовал большую языковую модель для генерации высокоуровневых подсказок для редактирования и промежуточных шагов, необходимых для их выполнения, в то время как обработка аудиосигнала производила соответствующие отредактированные выходные данные. «Для того чтобы это работало, мы не могли просто показать модели входные и выходные данные, — говорит Хао. — Мы должны были показать ей цепочку рассуждений между ними».

К более доступному редактированию аудио Для проверки SmartDJ исследователи сравнили его с более ранними системами редактирования звука и обнаружили, что он выдает более реалистичные и лучше согласованные результаты. Как в количественных оценках, так и в исследованиях с участием людей, SmartDJ превзошел предыдущие методы по таким

показателям, как качество звука, соответствие результатов инструкциям пользователя и реалистичность размещения звуков в пространстве. Исследователи видят потенциальные области применения в виртуальной реальности, дополненной реальности, играх, звуковом дизайне, виртуальных конференциях и других формах интерактивных медиа, где пользователи могут захотеть изменить звуковую среду,

не указывая вручную каждое отдельное изменение. В конечном итоге, цель исследователей — сделать редактирование аудио более доступным, позволив любому человеку с творческим видением редактировать звуковые ландшафты. «Для других медиа, таких как текст и изображения, пользователи уже могут использовать ИИ для выполнения запросов на высокоуровневое редактирование», — говорит Чжао. «SmartDJ открывает аналогичные возможности для аудио, упрощая для большего числа людей воплощение своих идей в

жизнь».

Сообщает android-robot.com

 

Новость из рубрики: Интернет

 

Поделиться новостью:

 

Топ Новости Недели

• Подготовка документов для участия в аукционе на право пользования недрами является сложным и ответственным процессом, требующим профессионального подхода...
• Рабочие ХБ перчатки с ПВХ покрытием являются надежным и практичным средством защиты рук...
• Зубная паста Glossy Cherry является отличным выбором для ежедневного ухода, объединяя в себе качественное очищение, приятный вкус и заботу о здоровье зубов и десен...
• Ремонт кофемашин De’Longhi — это процесс, требующий внимательного подхода и профессиональных навыков...
• Хорошая семейная стоматология становится не просто местом лечения, а партнером в заботе о здоровье всей семьи...
• Новые сервера Lineage 2 с высоким онлайном представляют собой идеальное сочетание динамики, конкуренции и возможностей для роста...
• Продукты халяль занимают важное место в системе питания, основанной на нормах ислама...
• Выбор банкетного зала — это важный этап подготовки к мероприятию, который требует внимательного анализа и учета множества деталей...
• Эндотрахеальная трубка является незаменимым инструментом в современной медицине, позволяющим спасать жизни в самых сложных ситуациях...
• Выбор детской стоматологии — это важное решение для родителей, от которого зависит не только здоровье зубов ребенка, но и его отношение к лечению в будущем...
• Сертификация и декларирование товаров являются важными элементами современной системы контроля качества...
• В последние годы служба по контракту приобретает всё большую актуальность, особенно в контексте текущих задач, стоящих перед государством...
• Душевая система с тропическим душем является современным и практичным решением для обустройства ванной комнаты...
• Нейросети для генерации докладов уже сегодня являются мощным инструментом, который помогает быстро и качественно решать учебные задачи...
• Современный интерьер невозможно представить без удобной и стильной мебели, которая не только выполняет практическую функцию, но и формирует атмосферу уюта...
• Гель Intimly отражает эти тенденции, предлагая сочетание эффективности и бережного ухода...
• Выбор стоматолога — важное решение, от которого напрямую зависит здоровье зубов и общее самочувствие...
• Необычные обручальные кольца становятся всё более популярным выбором среди современных пар, стремящихся подчеркнуть свою индивидуальность и создать символ любви с уникальным характером....
• Archibald Gran Comfort от Poltrona Frau — это не просто предмет мебели, а тщательно продуманное дизайнерское решение, объединяющее комфорт, эстетику и высокое качество исполнения...
• Аксессуары для грузовых автомобилей являются важной частью современной транспортной инфраструктуры...