Chatgpt retrasó una característica que no se le debería permitir usar a las personas de todos modos

ChatGPT ha crecido mucho en los últimos años, con Operai lanzando varias características emocionantes en el camino. ChatGPT ahora puede razonar para ofrecer respuestas más profundas a las preguntas, y produce informes detallados de investigación profunda sobre cualquier tema elegido. También es impresionante la capacidad del chatbot para generar imágenes y editar fotos. Luego está el operador, un agente de IA que permite que Chatgpt explore la web por usted. Además de eso, OpenAI ha lanzado varios modelos, incluidos los modos de vista previa, y mejoró aún más el modelo CHATGPT predeterminado que usan la mayoría de las personas.

Pero hay una herramienta de inteligencia artificial que Openai no ha traído a ChatGPT o lanzada como un programa de IA separado, a pesar de anunciarla hace más de un año. Se llama Voice Engine, una pieza de software de IA que puede clonar una voz después de escuchar una sola muestra de audio de 15 segundos.

No hace falta decir que es una característica increíblemente aterradora para liberarse en la naturaleza. Te advertí lo peligroso que es el minuto de Openai que lo anunció a fines de marzo de 2024.

La clonación de voz tiene abuso escrito por todas partes. No me refiero solo a actores maliciosos que crean archivos de audio falsos clonando las voces de políticos y celebridadeso piratas informáticos que intentan estafarte. También estoy pensando en el Joe promedio que podría pensar que es divertido clonar la voz de un amigo y hacer que diga que Dios sabe qué.

Más de un año después, la herramienta de clonación de voz de Openai todavía no está ampliamente disponible en ChatGPT o como una aplicación independiente. Solo es accesible para una breve lista de socios, y no se sabe cuándo OpenAi lo liberará en la naturaleza.

Espero que eso suceda en un futuro lejano, uno en el que el público más amplio es lo suficientemente experto en AI para contar audio clonado de una voz real, o Operai y otras empresas de IA desarrollan tecnología que claramente etiqueta las voces clonadas como generadas por AI.

No digo que no haya usos legítimos para las herramientas de clonación de voz con IA. Podría usar una herramienta así para doblar películas y programas de televisión en otros idiomas mientras mantiene la voz original del actor. Ese es un uso convincente para el audio generado por IA.

Las personas con impedimentos del habla o aquellos que pierden sus voces debido a afecciones médicas también podrían usar una herramienta CHATGPT para hablar con otros.

Del mismo modo, la capacidad de traducir el lenguaje hablado en tiempo real al tiempo que preservar la voz y el tono del hablante podría ser increíblemente útil en situaciones en las que otras herramientas de traducción no están disponibles o son tan efectivas.

Pero las personas regulares que obtienen acceso al motor de voz en Chatgpt o en otro lugar seguramente lo abusarán. Solo mire lo que sucedió con todas las imágenes de Deepfake que los usuarios de ChatGPT crearon después de que se lanzó la herramienta de generación de imágenes 4O. Y recuerde que OpenAI usó políticas de seguridad de laxera al soltar esa herramienta.

Tener un motor de voz en la naturaleza, con políticas de seguridad igualmente fáciles en su lugar, solo facilitaría que los actores maliciosos abusen de él con fines nefastos.

Afortunadamente, no parece planes de Operai para liberar ampliamente el motor de voz en el corto plazo. La empresa de IA dijo TechCrunch que continúa probando la función con un conjunto limitado de socios de confianza:

[We’re] Aprendiendo de cómo [our partners are] Uso de la tecnología para que podamos mejorar la utilidad y la seguridad del modelo. Hemos estado emocionados de ver las diferentes formas en que se usa, desde la terapia del habla, hasta el aprendizaje de idiomas, hasta la atención al cliente, hasta los personajes de videojuegos y los avatares de IA.

TechCrunch Señala que OpenAi quería liberar al motor de voz a su API el 7 de marzo de 2024, como voces personalizadas. El plan original era confiar a 100 desarrolladores con la característica, siempre y cuando estuvieran construyendo aplicaciones que proporcionaban un “beneficio social” o mostraron usos “innovadores y responsables” de la tecnología. Openai incluso lo marcó y estableció precios para ello.

Pero el motor de voz nunca estuvo disponible. En su lugar, OpenAi pospuso el lanzamiento y le dio a Voice Engine un anuncio público más tarde ese mes, sin abrir sus registros.

Creo que eso fue y sigue siendo el mejor movimiento. Una vez más, el éxito masivo de los nuevos poderes de generación de imágenes de ChatGPT es una prueba de que las personas abusarán de la tecnología de IA que es fácil de usar.

OpenAI no es el único laboratorio de IA que crea herramientas de clonación de voz. Ya hemos visto fallas profundas que involucran herramientas de IA que permiten a las personas clonar las voces de las celebridades con fines maliciosos. También hemos oído hablar de estafas que usan llamadas telefónicas en las que los piratas informáticos clonaron las voces de otras personas, incluyendo seres queridos.

Todo lo que sucedió sin ChatGPT ofrece a los usuarios un modo de motor de voz para clonar voces. Pero tener un lanzamiento de OpenAI tal herramienta podría facilitar aún más los actores maliciosos usarla para todo tipo de esquemas.

También sería increíblemente asequible, asumiendo los precios del año pasado que TechCrunch reportado permanece en su lugar. Operai quería cobrar $ 15 por millón de tokens por las voces estándar y $ 30 por millón de tokens por voces de calidad HD. Eso es extremadamente barato, especialmente si quieres usar la tecnología para manipular a las personas con fallas profundas o ejecutar ataques más sofisticados que involucran voces clonadas.

Afortunadamente, OpenAi Estaba consciente Del potencial de abuso del motor de voz, llamando a esos riesgos en la publicación del blog del año pasado. Eso probablemente explica el retraso continuo. Puede que Operai haya querido evitar la controversia en un año electoral, lo que podría ser la razón por la cual Voice Engine no se lanzó el año pasado. Pero las elecciones seguirán llegando.

Además, los informes han señalado que la clonación de voz de IA fue la Tercera estafa de más rápido crecimiento de 2024. Esa es una razón aún mayor para mantener el motor de voz fuera de las manos de la mayoría de las personas.