Pensándolo bien...
El debate está abierto. No hay día que pase que no se publique alguna noticia sobre Inteligencia Artificial (IA), incluyendo aportaciones nuevas, propuestas metodológicas nuevas o, con más frecuencia, comerciales. No faltan las reflexiones sobre la incidencia en aspectos sustanciales o menos significativos. El mundo de la educación está alerta por las informaciones que se agolpan sobre el impacto previsible, aunque parece permanecer al margen, como si no fuera con él. En todo caso la expectación es máxima en todos los sectores de actividad. Los líderes industriales, cuyos intereses son los suyos, generalmente económicos, nos asaetean con sus cuitas, siempre relacionadas con las operaciones de marketing en un intento, una vez más, de acaparar el mercado. La verdad es que, de nuevo, pensamos menos de lo que debiéramos y hacemos bien poco en ninguna dirección. La historia se repite.
Tras las alucinaciones sobrevenidas con las promesas de un mundo más fácil, van apareciendo elementos de reflexión, en casos, pasados por alto pese a su importancia, a veces, extrema. Surge un movimiento, consecuencia de meditar tratando de superar la superficialidad con la que se trata el tema, sobre la adecuación, no ya de los sistemas físicos que soportan la IA, sino acerca del comportamiento del software que los anima. Irrumpe el concepto de Algoritmos verdes. Ciertamente un factor a considerar es la eficiencia energética en la computación. Como nos solemos situar a una distancia de las cuestiones, un tanto frívola, no reparamos en si los algoritmos diseñados pretenden minimizar el uso de recursos computacionales y reducir el consumo de energía. Debiera tratarse de optimizar los algoritmos para que minimicen el número de operaciones a realizar, así como manejar la memoria de forma más eficiente o reducir el número de datos a transmitir a través de la red. Hace mucho que abandonamos la sobriedad de los primeros tiempos del desarrollo de la computación, al disfrutar de recursos en cantidades estratosféricas. Las grandes bases de datos, esas acogidas bajo el barbarismo de Big Data, son una referencia al derroche con el que nos movemos en el mundo de la computación al tener acceso a potencias de cálculo y almacenamiento de datos en cuantías increíblemente grandes. Olvidamos la servidumbre de que este disfrute tiene su coste y nunca es gratuito el impacto negativo. Tampoco en este caso.
Es imprescindible que en el contexto en que nos encontramos enfoquemos la importancia de la computación sostenible que pueda garantizar el respeto al medio ambiente. Una aplicación ejemplar de los algoritmos sería ayudar a optimizar la generación y distribución de la energía renovable, prediciendo el impacto medioambiental de las distintas actividades o ayudar a diseñar producto y procesos más respetuosos con el Medio Ambiente.
Merece la pena una reflexión acerca del consumo energético que implica una modelo de lenguaje generativo como GPT en sus distintas versiones. El consumo energético de un sistema de este tipo depende de varios factores, naturalmente, desde el tamaño del modelo a la calidad de los datos con los que se le entrena, cuánto se utiliza y cuál es la eficiencia de los equipos que lo trabajan. La fase de entrenamiento es la central en un análisis sobre estas cuestiones. Esta fase puede ser muy intensiva en relación al consumo de energía, dado que implica el tratamiento de grandes cantidades de datos sobre unos equipos de alto rendimiento y durante periodos de tiempo prolongados. Como ejemplo valga una muestra como el dato de que OpenAI informó que en el entrenamiento de GPT-3, que es una versión primigenia, requirió varios gigavatios/hora, que es mucha energía (La Región de Murcia puede suministrar en torno a 8 Gigavatios/hora anualmente). Una vez que se supera la fase de entrenamiento, ya en la fase de inferencia, el consumo es mucho menor, dado que en esta fase se aplican los patrones que aprendió el sistema y no suele darse que aprenda nuevos patrones a partir de grandes cantidades de datos. Recordemos que GPT en sus diversas versiones advierte que su base de datos se limita a septiembre de 2021. Con fecha 17 de marzo de 2023, se da la referencia de lograr el ajuste fino de GPT3 con tan solo 2 GPU NVIDIA A100, ajustando con éxito un modelo BLOOMZ de tamaño GPT3 con parámetros 176B (denominado OCRL-BLOOM) con tan solo 2 GPU NVIDIA A100 (40 GB) para lograr una velocidad de ajuste fino de 3,9 tokens/seg/GPU. En cambio, para el entrenamiento, el superordenador desarrollado para OpenAI es un sistema único con más de 285 000 núcleos de CPU, 10 000 GPU y 400 gigabits por segundo de conectividad de red para cada servidor GPU. Las cifras son más que sorprendentes, porque para la versión GPT-4, con 1 millón de GPU y usando los datos anteriores, se necesitarían aproximadamente 2650 años para entrenar el modelo. Entonces, así es como podría verse GPT-4: tamaño similar a GPT-3, pero entrenado de manera óptima con 10 veces más datos y proporcionando una salida multimodal de texto, imágenes y sonido. GPT-4 ahora es "Multimodal", lo que significa que puede tratar imágenes y texto. Todavía no genera imágenes (como Midjourney o DALL-E), pero puede interpretar las imágenes que se le proporcionan. Por ejemplo, esto incluye el poder ver un meme y pronunciarse sobre por qué razón es gracioso. Hasta ahora, GPT-4 solo se basaba en sus datos de entrenamiento, que se actualizaron por última vez en septiembre de 2021. No estaba conectado al mundo exterior. Hoy, con complementos, puede acceder Internet.
Si nos preguntamos por el coste de todo esto, las cifras son bárbaras. El costo de entrenamiento (capacitación) estimado de GPT-4 tiene un límite superior de 200 millones de dólares, usando 10,000 A100 durante 11 meses. Incluyendo costes de pruebas y errores, más los costes de investigación podría elevarla a 1500 millones de dólares. Naturalmente, dado que GPT-4 es más computacionalmente intensivo que los modelos anteriores, también es más costoso de usar en comparación con GPT 3.5 Turbo; Por ejemplo, GPT-4 cuesta hasta 0,03 dólares por 1K tokens en la etapa de uso en comparación con 0,002 dólares para el modelo GPT-3.5-turbo. La versión más reciente del sistema modelo de lenguaje de OpenAI, GPT-4, se lanzó oficialmente el 13 de marzo de 2023 con una suscripción que permite acceder a la herramienta Chat GPT-4. El acceso completo a las capacidades del modelo sigue siendo limitado y la versión gratuita de ChatGPT mantiene el uso del modelo GPT-3.5.
En este escenario, parece relevante la preocupación por optimizar los procesos complejos en los que se desenvuelve, de forma que no sea a costa, una vez más, de infringir daños a un Medio Ambiente suficientemente deteriorado. Desarrollar algoritmos "verdes" o eficientes energéticamente en inteligencia artificial (IA) es un desafío importante y un área de investigación muy concurrida. La eficiencia energética es cada vez más importante a medida que las redes neuronales y los modelos de aprendizaje automático crecen en tamaño y complejidad y a medida que la IA se utiliza en más áreas de nuestra vida diaria.
Algunas estrategias para desarrollar algoritmos "verdes" en IA, incluyen: Una reducción del tamaño del modelo, ya que los más grandes requieren más potencia de cálculo y, por lo tanto, más energía. Se pueden reducir mediante la eliminación de las partes del modelo que contribuyen poco al rendimiento final, o a través de una "cuantización", que reduce la precisión numérica de los cálculos del modelo. Otro aspecto a considerar es utilizar técnicas de aprendizaje eficiente como el denominado aprendizaje federado, que permite que varios dispositivos o nodos aprendan de manera conjunta sin tener que transmitir grandes cantidades de datos, lo que puede reducir el consumo de energía. Un aspecto más a considerar es la optimización de los equipos incluyendo los chips específicos para tareas como las unidades de procesamiento de tensor (TPU) que emplea Google, más eficientes energéticamente para ciertos tipos de tareas de aprendizaje automático que las CPU o GPU de propósito general. También es preciso considerar el uso de energía renovable, ya que, aunque no siendo una solución al problema de la eficiencia energética en sí misma, utilizar energía renovable para alimentar los ordenadores puede ayudar a reducir el impacto medioambiental de la IA. Y, finalmente, consideraremos el diseño de algoritmos eficientes en energía, implicando la elección de algoritmos que requieran menos potencia de cálculo, la optimización de los algoritmos existentes para reducir su consumo de energía, o la investigación de nuevos enfoques para la eficiencia energética en la IA.
Finalmente, destacamos que la eficiencia energética solo es una parte del impacto medioambiental de la IA. Hay otros aspectos, también a considerar, como la producción y eliminación de los equipos, que no es un capítulo a despreciar en un escenario de algoritmos verdes que vigoriza la preocupación por no infringir más daños de los provocados hasta ahora en el Medio Ambiente. Son enfoques imprescindibles desde una perspectiva algo más humanista de la irrupción de la tecnología en el ámbito de las personas. Para asignar el apelativo de inteligencia habrá que empezar por el principio. Es una norma inexcusable.
Tras las alucinaciones sobrevenidas con las promesas de un mundo más fácil, van apareciendo elementos de reflexión, en casos, pasados por alto pese a su importancia, a veces, extrema. Surge un movimiento, consecuencia de meditar tratando de superar la superficialidad con la que se trata el tema, sobre la adecuación, no ya de los sistemas físicos que soportan la IA, sino acerca del comportamiento del software que los anima. Irrumpe el concepto de Algoritmos verdes. Ciertamente un factor a considerar es la eficiencia energética en la computación. Como nos solemos situar a una distancia de las cuestiones, un tanto frívola, no reparamos en si los algoritmos diseñados pretenden minimizar el uso de recursos computacionales y reducir el consumo de energía. Debiera tratarse de optimizar los algoritmos para que minimicen el número de operaciones a realizar, así como manejar la memoria de forma más eficiente o reducir el número de datos a transmitir a través de la red. Hace mucho que abandonamos la sobriedad de los primeros tiempos del desarrollo de la computación, al disfrutar de recursos en cantidades estratosféricas. Las grandes bases de datos, esas acogidas bajo el barbarismo de Big Data, son una referencia al derroche con el que nos movemos en el mundo de la computación al tener acceso a potencias de cálculo y almacenamiento de datos en cuantías increíblemente grandes. Olvidamos la servidumbre de que este disfrute tiene su coste y nunca es gratuito el impacto negativo. Tampoco en este caso.
Es imprescindible que en el contexto en que nos encontramos enfoquemos la importancia de la computación sostenible que pueda garantizar el respeto al medio ambiente. Una aplicación ejemplar de los algoritmos sería ayudar a optimizar la generación y distribución de la energía renovable, prediciendo el impacto medioambiental de las distintas actividades o ayudar a diseñar producto y procesos más respetuosos con el Medio Ambiente.
Merece la pena una reflexión acerca del consumo energético que implica una modelo de lenguaje generativo como GPT en sus distintas versiones. El consumo energético de un sistema de este tipo depende de varios factores, naturalmente, desde el tamaño del modelo a la calidad de los datos con los que se le entrena, cuánto se utiliza y cuál es la eficiencia de los equipos que lo trabajan. La fase de entrenamiento es la central en un análisis sobre estas cuestiones. Esta fase puede ser muy intensiva en relación al consumo de energía, dado que implica el tratamiento de grandes cantidades de datos sobre unos equipos de alto rendimiento y durante periodos de tiempo prolongados. Como ejemplo valga una muestra como el dato de que OpenAI informó que en el entrenamiento de GPT-3, que es una versión primigenia, requirió varios gigavatios/hora, que es mucha energía (La Región de Murcia puede suministrar en torno a 8 Gigavatios/hora anualmente). Una vez que se supera la fase de entrenamiento, ya en la fase de inferencia, el consumo es mucho menor, dado que en esta fase se aplican los patrones que aprendió el sistema y no suele darse que aprenda nuevos patrones a partir de grandes cantidades de datos. Recordemos que GPT en sus diversas versiones advierte que su base de datos se limita a septiembre de 2021. Con fecha 17 de marzo de 2023, se da la referencia de lograr el ajuste fino de GPT3 con tan solo 2 GPU NVIDIA A100, ajustando con éxito un modelo BLOOMZ de tamaño GPT3 con parámetros 176B (denominado OCRL-BLOOM) con tan solo 2 GPU NVIDIA A100 (40 GB) para lograr una velocidad de ajuste fino de 3,9 tokens/seg/GPU. En cambio, para el entrenamiento, el superordenador desarrollado para OpenAI es un sistema único con más de 285 000 núcleos de CPU, 10 000 GPU y 400 gigabits por segundo de conectividad de red para cada servidor GPU. Las cifras son más que sorprendentes, porque para la versión GPT-4, con 1 millón de GPU y usando los datos anteriores, se necesitarían aproximadamente 2650 años para entrenar el modelo. Entonces, así es como podría verse GPT-4: tamaño similar a GPT-3, pero entrenado de manera óptima con 10 veces más datos y proporcionando una salida multimodal de texto, imágenes y sonido. GPT-4 ahora es "Multimodal", lo que significa que puede tratar imágenes y texto. Todavía no genera imágenes (como Midjourney o DALL-E), pero puede interpretar las imágenes que se le proporcionan. Por ejemplo, esto incluye el poder ver un meme y pronunciarse sobre por qué razón es gracioso. Hasta ahora, GPT-4 solo se basaba en sus datos de entrenamiento, que se actualizaron por última vez en septiembre de 2021. No estaba conectado al mundo exterior. Hoy, con complementos, puede acceder Internet.
Si nos preguntamos por el coste de todo esto, las cifras son bárbaras. El costo de entrenamiento (capacitación) estimado de GPT-4 tiene un límite superior de 200 millones de dólares, usando 10,000 A100 durante 11 meses. Incluyendo costes de pruebas y errores, más los costes de investigación podría elevarla a 1500 millones de dólares. Naturalmente, dado que GPT-4 es más computacionalmente intensivo que los modelos anteriores, también es más costoso de usar en comparación con GPT 3.5 Turbo; Por ejemplo, GPT-4 cuesta hasta 0,03 dólares por 1K tokens en la etapa de uso en comparación con 0,002 dólares para el modelo GPT-3.5-turbo. La versión más reciente del sistema modelo de lenguaje de OpenAI, GPT-4, se lanzó oficialmente el 13 de marzo de 2023 con una suscripción que permite acceder a la herramienta Chat GPT-4. El acceso completo a las capacidades del modelo sigue siendo limitado y la versión gratuita de ChatGPT mantiene el uso del modelo GPT-3.5.
En este escenario, parece relevante la preocupación por optimizar los procesos complejos en los que se desenvuelve, de forma que no sea a costa, una vez más, de infringir daños a un Medio Ambiente suficientemente deteriorado. Desarrollar algoritmos "verdes" o eficientes energéticamente en inteligencia artificial (IA) es un desafío importante y un área de investigación muy concurrida. La eficiencia energética es cada vez más importante a medida que las redes neuronales y los modelos de aprendizaje automático crecen en tamaño y complejidad y a medida que la IA se utiliza en más áreas de nuestra vida diaria.
Algunas estrategias para desarrollar algoritmos "verdes" en IA, incluyen: Una reducción del tamaño del modelo, ya que los más grandes requieren más potencia de cálculo y, por lo tanto, más energía. Se pueden reducir mediante la eliminación de las partes del modelo que contribuyen poco al rendimiento final, o a través de una "cuantización", que reduce la precisión numérica de los cálculos del modelo. Otro aspecto a considerar es utilizar técnicas de aprendizaje eficiente como el denominado aprendizaje federado, que permite que varios dispositivos o nodos aprendan de manera conjunta sin tener que transmitir grandes cantidades de datos, lo que puede reducir el consumo de energía. Un aspecto más a considerar es la optimización de los equipos incluyendo los chips específicos para tareas como las unidades de procesamiento de tensor (TPU) que emplea Google, más eficientes energéticamente para ciertos tipos de tareas de aprendizaje automático que las CPU o GPU de propósito general. También es preciso considerar el uso de energía renovable, ya que, aunque no siendo una solución al problema de la eficiencia energética en sí misma, utilizar energía renovable para alimentar los ordenadores puede ayudar a reducir el impacto medioambiental de la IA. Y, finalmente, consideraremos el diseño de algoritmos eficientes en energía, implicando la elección de algoritmos que requieran menos potencia de cálculo, la optimización de los algoritmos existentes para reducir su consumo de energía, o la investigación de nuevos enfoques para la eficiencia energética en la IA.
Finalmente, destacamos que la eficiencia energética solo es una parte del impacto medioambiental de la IA. Hay otros aspectos, también a considerar, como la producción y eliminación de los equipos, que no es un capítulo a despreciar en un escenario de algoritmos verdes que vigoriza la preocupación por no infringir más daños de los provocados hasta ahora en el Medio Ambiente. Son enfoques imprescindibles desde una perspectiva algo más humanista de la irrupción de la tecnología en el ámbito de las personas. Para asignar el apelativo de inteligencia habrá que empezar por el principio. Es una norma inexcusable.
© 2023 Academia de Ciencias de la Región de Murcia