Адрес для входа в РФ: exler.world
ИИ-модель, точно имитирующая голос
20.01.2023 10:00
12543
Комментарии (52)
Microsoft представила модель искусственного интеллекта (ИИ) под названием VALL-E — она преобразует текст в речь, точно имитируя голос человека, а образцом может служить запись продолжительностью всего в три секунды. При этом ИИ сохраняет эмоциональную окраску речи образца.
Авторы проекта говорят, что система окажется полезной при разработке приложений с возможностью высококачественного преобразования текста в речь и при создании аудиоконтента в сочетании с другими ИИ-генераторами контента вроде GPT-3. Хотя они также признают, что её можно использовать для редактирования аудиозаписи по расшифровке — модель может «заставить» человека произносить слова, которых он никогда в реальности не говорил.
При создании модели использовалась разработанная Meta технология EnCodec, которая обеспечивает эффективное сжатие аудиосигнала. В отличие от традиционных методов преобразования текста в речь, VALL-E не конструирует звуковые волны, а анализирует особенности речи человека, разбивает эти данные на отдельные компоненты (так называемые «токены») и генерирует запись на основе того, что уже «знает» об образце — моделирует голос, как он бы мог звучать за пределами трёхсекундного образца. Обучение модели производилось на библиотеке LibriLight, собранной Meta* — она же, в свою очередь, была построена на 60 000 часов англоязычной речи более чем 7000 носителей: данные были позаимствованы преимущественно из коллекции LibriVox.
Из-за опасности злоупотреблений технологией Microsoft не стала публиковать код VALL-E для экспериментов, поэтому все желающие протестировать работу модели не смогут. В компании добавили, что аналогичным образом будут поступать и с другими проектами, если они несут потенциальную угрозу злоупотреблений. (Отсюда.)
Технология, конечно, очень интересная, и ее много для чего полезного можно будет использовать, но нельзя не отметить, что грань между реальностью и фейком становится совсем призрачной, если буквально по трехсекундному образцу можно создать совершенно реалистично звучащую искусственную копию и заставить ее говорить все что угодно.
Вот здесь на сайте проекта представлены разнообразные образцы. Speaker Prompt - образцы речи, Ground Truth - запись необходимого текста в исполнении человека, с которого был записан образец, Baseline - традиционный преобразователь текста в речь, VALL-E - работа нового ИИ.
Там также показано, что система может не только придавать голосу нужный эмоциональный окрас, но и имитировать звуковое окружение - телефонный разговор, помехи на улице и так далее. Там много примеров - в том числе, и с имитацией акустического окружения.
Войдите, чтобы оставить комментарий.
Теперь актеры озвучки будут не нужны. А в будущем, можно будет выпускать для каждого рынка свои версии, в каждой из которых движение губ актера совпадает с текстом.
twitter.com
twitter.com
Я чёт не очень понимаю, в чем прикол этой разработки. Не, ну с инженерами понятно, для них это просто фан и челлендж. Они не то что в предпоследнюю очередь, они вообще о последствиях не думают обычно. Но мелкомягким-то это зачем? Какой с этого гешефт, я не понимаю.
А по мне так отличная новость.
1. Шантаж станет абсолютно бессмысленным.
2. Число успешных разводов если и увеличится, то только в краткосрочной перспективе.
3. По идентификации, останется как есть сейчас.
1. Шантаж станет абсолютно бессмысленным.
2. Число успешных разводов если и увеличится, то только в краткосрочной перспективе.
3. По идентификации, останется как есть сейчас.
Есть и обратный эффект. Любую запись можно будет объявить фейком. Коллеги Соловьёва из будущего в Гааге будут говорить, что передачи вели не они. И что это всё синтезировано недоброжелателями
Если одни придурки пытаются чего-то там запретить, это лишь означает, что другие придурки это с удовольствием сделают и продадут первыми. Прогресс не остановить.
Где-то очень обрадовались Лексус и Вован.
Имитация акустического окружения была в каких-то совсем древних телефонах.
Мне кажется это сони делала, она же единственная из всех делала человеческий автоответчик и запись с линии.
Мне кажется это сони делала, она же единственная из всех делала человеческий автоответчик и запись с линии.
Имитация акустического окружения была в каких-то совсем древних телефонах.
Кто первый выложит, как путлер признается в своих преступлениях начиная со штази и до нападения на Украину?
Кто первый выложит, как путлер признается в своих преступлениях начиная со штази и до нападения на Украину?
Зиновий Юрьев. "Полная переделка". Год выхода в свет не помню / не знаю, я читал однозначно до 1982г.
Ключевой момент сюжета: установка, разработанная профессором Ламонтом, которая по короткой записи оригинала может синтезировать любой голос, заставляя его произносить набранный на клавиатуре текст. Синтез настолько точен, что электронные машины, которые в мире будущего заменили судей в уголовных процессах, признаЮт синтезированные записи в качестве доказательств на процессе.
Ключевой момент сюжета: установка, разработанная профессором Ламонтом, которая по короткой записи оригинала может синтезировать любой голос, заставляя его произносить набранный на клавиатуре текст. Синтез настолько точен, что электронные машины, которые в мире будущего заменили судей в уголовных процессах, признаЮт синтезированные записи в качестве доказательств на процессе.
Та же фигня в его же "Белом снадобье". ИИ синтезирует голос босса гангстеров.
И молвит старику ИИ голосом старухи:
- Переведи ты мне на карту все свои пенсионные накопления.
Удивился старик, испугался. Он айтишничал тридцать лет и три года и не слыхивал, чтоб старуха говорила. Так как померла его старуха.
- Переведи ты мне на карту все свои пенсионные накопления.
Удивился старик, испугался. Он айтишничал тридцать лет и три года и не слыхивал, чтоб старуха говорила. Так как померла его старуха.
Ежу понятно, что старуха звонит с того света; ей нужны деньги там, надо переводить!
Он айтишничал тридцать лет и три года и не было у него никогда старухи, ибо апгрейдился он каждые три года и была у него сейчас Баба v.11... 😉
А первой части это же тип, воспользовался утечкой персональных данных в телефонной будке! Рецедивст.
утечкой персональных данных
«Рецидивист»! 🙄
Во второй части уже апгрейд. Т-1000 уже базу данных полиции через компьютер использует 😄
А первой части это же тип, воспользовался утечкой персональных данных в телефонной будке! Рецедивст.
Послушал.
Видимо, трёхсекундного сэмпла всё же маловато будет. Индивидуальные/диалектные особенности произношения отдельных фонем сглаживаются по сравнению с Ground Truth.
Видимо, трёхсекундного сэмпла всё же маловато будет. Индивидуальные/диалектные особенности произношения отдельных фонем сглаживаются по сравнению с Ground Truth.
Microsoft представила модель искусственного интеллекта (ИИ) под названием VALL-E
Через 15 лет кто-то вспомнил мультик "WALL-E"? Закончились в MS креативщики... пичалька!
Через 15 лет кто-то вспомнил мультик "WALL-E"? Закончились в MS креативщики... пичалька!
В смысле, 15 лет??????!!!!!!!!! 8-( )
Точно. Пересматривал на праздниках. Кстати его "Ева-а-а" сложно назвать человеческим, скорее наоборот - излишне компьютеризировано
Это уже далеко не первая модель. Еще несколько лет назад банковские айтишники предупреждали, чтобы на звонки отвечали не "да", а "алло", потому что стали подделывать голоса при подтверждении транзакций. В прошлом году даже Зеленского фейковали и вроде даже Путина с Шойгу.
Жена почему-то очень любит про "Gut, Waldemar, Gut".
Я, я!
- Правда, внучек! Ну, не совсем сбил - недозаправил..
не "да", а "алло"
- Я.
- Но это же наш, советский танк!
- Я, я!
Мошенники звонят на номер директора, "снимают его речь", перезванивают бухгалтеру и дают указание сделать срочный перевод. На эту уловку попадаются фирмы, просто получив емайл, представьте, что будет, когда бухгалтер услышит суровый голос начальника.
Вспомните "мама я попал в аварию, голос из-за удара об руль изменился , сижу в полиции, передаю телефон следователю, срочно нужны деньги погасить ущерб".
Это пример из личного опыта. Мои родители собирали деньги, пока не догадались мне перезвонить.
Вы представляете, чем это грозит?
Мне только вчера звонили из "миграционной службы", обратились по имени-фамилии и были посланы, так как не знали государственного литовского языка.
Из какой страны звонили, думаю нетрудно догадаться.
Вспомните "мама я попал в аварию, голос из-за удара об руль изменился , сижу в полиции, передаю телефон следователю, срочно нужны деньги погасить ущерб".
Это пример из личного опыта. Мои родители собирали деньги, пока не догадались мне перезвонить.
Вы представляете, чем это грозит?
Мне только вчера звонили из "миграционной службы", обратились по имени-фамилии и были посланы, так как не знали государственного литовского языка.
Из какой страны звонили, думаю нетрудно догадаться.
И как вы поняли, из какой страны звонят?
Увы, мошеннические схемы, основанные на социальной инженерии, были и будут.
Ну, переведут и больше не будут, если обучаемы.
Увы, мошеннические схемы, основанные на социальной инженерии, были и будут. Синтез голоса усугубит, но не коренным образом.
Увы, мошеннические схемы, основанные на социальной инженерии, были и будут. Синтез голоса усугубит, но не коренным образом.
80 процентов перезвонит начальнику, ну а 20 процентов безропотно переведут.
Да просто охренеть и быть готовым, ничего не сделаешь.
Но я вам гарантирую, в небольших конторах вопросы переводов решаются быстро, бухгалтер женщина за 50 получила звонок от нервного начальника сделать перевод на счёт, который пришёл только что ей на почту, счёт прислал клиент. 80 процентов перезвонит начальнику, ну а 20 процентов безропотно переведут.
Но я вам гарантирую, в небольших конторах вопросы переводов решаются быстро, бухгалтер женщина за 50 получила звонок от нервного начальника сделать перевод на счёт, который пришёл только что ей на почту, счёт прислал клиент. 80 процентов перезвонит начальнику, ну а 20 процентов безропотно переведут.
Как раз про "голос изменился" они никогда не упоминают, потому что жертва тут же насторожится и задаст пару наводящих вопросов.
Жертва сама себя убедит, что говорили "твоим голосом".
Увы, знаю на личном опыте, маму развели так. Причем, я с ней про такое говорил, ликбезы проводил, но все равно.
Жертва сама себя убедит, что говорили "твоим голосом".
Увы, знаю на личном опыте, маму развели так. Причем, я с ней про такое говорил, ликбезы проводил, но все равно.
На эту уловку попадаются фирмы, просто получив емайл, представьте, что будет, когда бухгалтер услышит суровый голос начальника.
Нененене. Если на фирме все норм то бухгалтер перезвонит именно на телефон директора да еще позадает глупых вопросов типа какого цвета стены в кабинете и когда они последний раз виделись лично. Для идентификации. Я у себя людей так учу.
А вот то что некоторые банки начали голосовую идентификацию делать это беда...
А вот то что некоторые банки начали голосовую идентификацию делать это беда...
Вы представляете, чем это грозит?
Только выросло поколение, которое не понимает, как можно принимать судебные решения на основании свидетельских показаний, ведь сейчас все снимают на смартфоны и камеры наблюдения, как всё это начало сворачиваться.
Развод "Мам, я в полиции, сбил человека, срочно нужно 10 тыс. долларов" выходит на новый уровень
имитировать звуковое окружение - телефонный разговор, помехи на улице
Пока что, очень заметно что синтез.
То-то банки вводят авторизацию по голосу...
Хороший план.
Надёжный.
Хороший план.
Надёжный.
А от мошенника - доступ к Сети и клавиатура.
Есть и для этого решения.
И главное - от клиента для того, чтобы им воспользоваться ничего не требуется.
Т.е. сосканировать чужой отпечаток, чтобы обойти такую систему уже будет мало.
СМС уже давно не являются надежными т.к. их можно перехватить или увести симку.
Поэтому голос, как один из дополнительных факторов - ничуть ни хуже многих других решений. И главное - от клиента для того, чтобы им воспользоваться ничего не требуется.
И нет, в разрезе этих новостей голосовой отпечаток это не надежный второй фактор.
Надежный второй фактор это хардварный ключ. Или OTP. СМС уже давно не являются надежными т.к. их можно перехватить или увести симку. И нет, в разрезе этих новостей голосовой отпечаток это не надежный второй фактор.
То-то банки вводят авторизацию по голосу...
Вот только что мне робот от сбера пытался кредит втюхать! Пафосный такой!..
Теги
Информация
Что ещё почитать
Сад и музей Уинтертур в Делавэре
13.08.2024
23
Любовь и смерть
02.09.2024
24
Распечатанные команды детских кактусов
11.10.2024
90
