Apple no ha hablado mucho sobre IA hasta ahora, pero ha estado trabajando en cosas muchas cosas. Sería fácil pensar que Apple llega tarde al juego de la IA.
Desde finales de 2022, cuando ChatGPT arrasó en el mundo, la mayoría de los competidores de Apple se han esforzado por ponerse al día. Si bien Apple ciertamente ha hablado sobre la IA e incluso ha lanzado algunos productos con la IA en mente, parecía estar metiendo un pie en lugar de lanzarse de cabeza.
Pero en los últimos meses, rumores e informes han sugerido que Apple, de hecho, simplemente ha estado esperando el momento oportuno, esperando tomar su decisión. En las últimas semanas ha habido informes de que Apple está hablando con OpenAI y Google sobre la posibilidad de potenciar algunas de sus funciones de IA, y la compañía también ha estado trabajando en su propio modelo, llamado Ajax.
Si nos fijamos en las investigaciones sobre IA publicadas por Apple, comienza a desarrollarse una imagen de cómo el enfoque de Apple hacia la IA podría cobrar vida. Ahora bien, obviamente, hacer suposiciones sobre productos basadas en artículos de investigación es una ciencia profundamente inexacta: la línea que va desde la investigación hasta los estantes de las tiendas es ventosa y está llena de baches. Pero al menos podrás tener una idea de lo que está pensando la compañía y de cómo podrían funcionar sus funciones de inteligencia artificial cuando Apple comience a hablar de ellas en su conferencia anual de desarrolladores, WWDC, en junio.
Sospecho que tú y yo esperamos lo mismo aquí: una mejor Siri. ¡Y parece que viene Better Siri! En gran parte de las investigaciones de Apple (y en gran parte de la industria tecnológica, en el mundo y en todas partes) se supone que los grandes modelos de lenguaje harán que los asistentes virtuales sean mejores y más inteligentes de inmediato. Para Apple, llegar a Better Siri significa fabricar esos modelos lo más rápido posible y asegurarse de que estén en todas partes.
En iOS 18, Apple planea tener todas sus funciones de inteligencia artificial ejecutándose en un modelo en el dispositivo completamente fuera de línea, informó recientemente Bloomberg. Es difícil construir un buen modelo multipropósito incluso cuando tienes una red de centros de datos y miles de GPU de última generación; es muchísimo más difícil hacerlo con solo las agallas dentro de tu teléfono inteligente. Entonces Apple tiene que ser creativa.
En un artículo llamado “LLM in a flash: Efficient Large Language Model Inference with Limited Memory” (todos estos artículos tienen títulos realmente aburridos pero son realmente interesantes, ¡lo prometo!), los investigadores idearon un sistema para almacenar los datos de un modelo, que generalmente es almacenado en la RAM de su dispositivo, en su lugar en el SSD. «Hemos demostrado la capacidad de ejecutar LLM hasta el doble del tamaño de la DRAM disponible [en el SSD]», escribieron los investigadores, «logrando una aceleración en la velocidad de inferencia de 4 a 5 veces en comparación con los métodos de carga tradicionales en la CPU, y 20- 25x en GPU”. Descubrieron que al aprovechar el almacenamiento más económico y disponible en su dispositivo, los modelos pueden funcionar más rápido y de manera más eficiente.
Los investigadores de Apple también crearon un sistema llamado EELBERT que esencialmente puede comprimir un LLM en un tamaño mucho más pequeño sin empeorarlo significativamente. Su versión comprimida del modelo Bert de Google era 15 veces más pequeña (sólo 1,2 megabytes) y experimentó sólo una reducción del 4 por ciento en la calidad. Sin embargo, vino con algunas compensaciones de latencia.
En general, Apple está presionando para resolver una tensión central en el mundo de los modelos: cuanto más grande se vuelve un modelo, mejor y más útil puede ser, pero también más difícil de manejar, más consumidor de energía y más lento puede volverse. Como tantas otras, la empresa está tratando de encontrar el equilibrio adecuado entre todas esas cosas y al mismo tiempo busca una manera de tenerlo todo.
Siri pero mejorada
Mucho de lo que hablamos cuando hablamos de productos de IA es de asistentes virtuales: asistentes que saben cosas, que pueden recordarnos cosas, que pueden responder preguntas y hacer cosas en nuestro nombre. Por lo tanto, no es exactamente sorprendente que gran parte de la investigación de IA de Apple se reduzca a una sola pregunta: ¿y si Siri fuera realmente, realmente, realmente buena?
Un grupo de investigadores de Apple ha estado trabajando en una forma de utilizar Siri sin necesidad de utilizar ninguna palabra de activación; En lugar de escuchar «Hey Siri» o «Siri», el dispositivo podría simplemente intuir si le estás hablando. «Este problema es significativamente más desafiante que la detección de un disparador de voz», reconocieron los investigadores, «ya que puede no haber una frase desencadenante inicial que marque el comienzo de un comando de voz».
Quizás esa sea la razón por la que otro grupo de investigadores desarrolló un sistema para detectar con mayor precisión las palabras de activación. Otro artículo entrenó a un modelo para comprender mejor palabras raras, que a menudo los asistentes no comprenden bien.
En ambos casos, el atractivo de un LLM es que, en teoría, puede procesar mucha más información y mucho más rápido. En el artículo sobre la palabra de activación, por ejemplo, los investigadores descubrieron que al no tratar de descartar todos los sonidos innecesarios sino, en cambio, alimentarlo todo al modelo y dejar que procese lo que importa y lo que no, la palabra de activación funcionó mucho más. seguramente. Una vez que Siri te escuche, Apple estará trabajando mucho para asegurarse de que comprenda y se comunique correctamente.