El Debate sobre la Escalabilidad de la IA: Lo que Dicen las Mentes Brillantes de la Industria

Geoffrey Hinton, el «Padrino de la IA», dice que no está «convencido» de que la era de la escalabilidad de la inteligencia artificial haya terminado, como afirmó recientemente su exalumno Ilya Sutskever.

No todos en el mundo de la IA están listos para declarar el fin de la era de la escalabilidad. «No estoy convencido de que esté completamente terminada,» comentó Geoffrey Hinton a Business Insider, participando en uno de los debates más candentes de este año en los círculos de IA.

Hinton está al tanto de que Ilya Sutskever, cofundador de OpenAI y uno de sus antiguos estudiantes, dijo el mes pasado que el péndulo del desarrollo de IA está oscilando de regreso hacia la investigación, alejándose de las simples innovaciones basadas en la escalabilidad o en la adquisición de más capacidad computacional y más chips.

«¿Es la creencia realmente: ‘Oh, es tan grande, pero si tuvieras 100 veces más, todo sería tan diferente?’. Sería diferente, seguro. Pero, ¿es la creencia que si simplemente aumentas 100 veces la escala, todo se transformaría? No creo que eso sea cierto,» dijo Sutskever en un episodio del «Podcast de Dwarkesh».

«Así que vuelve a ser la era de la investigación, solo que con grandes computadoras,» agregó Sutskever, quien ahora dirige su propia startup de inteligencia artificial.

Hinton mencionó que siempre habrá una necesidad de más datos. (Otro problema que enfrenta la escalabilidad es la cantidad finita de datos de alta calidad). Predijo que los grandes chatbots comenzarán a generar sus propios datos, como lo hacen en menor escala los programas de Google DeepMind, AlphaGo y AlphaZero, para dominar el juego de mesa Go.

«Nadie se preocupa por la falta de datos porque juega contra sí mismo y genera datos de esa manera,» dijo Hinton del primer programa. «Y el equivalente para un modelo de lenguaje es cuando empieza a razonar y decir, ‘Mira, creo en estas cosas y estas cosas implican esa cosa, pero no creo en esa cosa, así que mejor cambio algo en algún lado’. Y al razonar para comprobar la consistencia de sus propias creencias, puede generar muchos más datos.»

La escalabilidad está en el núcleo mismo de la ola de gastos de capital de Big Tech, una apuesta basada en la creencia de que al adquirir más capacidad de cómputo o datos de entrenamiento, los modelos de IA continuarán creciendo en inteligencia y sofisticación.

Cada vez más, algunos líderes de IA han expresado incertidumbre acerca de basar sus futuras apuestas en la confianza en la escalabilidad. Alexandr Wang, ahora jefe de la división de superinteligencia de Meta, dijo en 2024 que la escalabilidad es «la mayor pregunta en la industria».

Yann LeCun, quien trabajó con Hinton en la investigación pionera de IA, también ha cuestionado la extensión de la doctrina de la escala. «No puedes simplemente asumir que más datos y más capacidad computacional significan una IA más inteligente,» dijo LeCun en abril cuando todavía era el científico jefe de IA en Meta. Al igual que Sutskever, LeCun ha lanzado su propia startup.

Sutskever dijo que la escalabilidad ha sido atractiva porque permite a las empresas hacer una apuesta «de muy bajo riesgo» en los avances de la IA.

En cambio, Demis Hassabis, CEO de Google DeepMind, mencionó que las leyes de escalabilidad podrían finalmente desbloquear el mayor y más esquivo premio de la IA: la inteligencia artificial general, o AGI. «La escalabilidad de los sistemas actuales, debemos llevarla al máximo, porque al menos, será un componente clave del sistema AGI final,» dijo Hassabis en el «AI+ Summit» de Axios en diciembre. «Podría ser la totalidad del sistema AGI.»