SANTA CLARA, California (AP) — La creación de la presente preñez de chatbots con inteligencia fabricado se ha basado en chips informáticos especializados de los que fue pionera Nvidia, que acaparó el mercado y se convirtió en el maniquí del auge de la IA.
Pero las mismas cualidades que hacen que esos chips de procesadores gráficos, o GPU, sean tan efectivos para crear potentes sistemas de IA desde cero los hacen menos eficientes a la hora de poner en funcionamiento los productos de IA.
Esto ha hendido la industria de los chips de IA a rivales que creen que pueden competir con Nvidia en la saldo de los llamados chips de inferencia de IA que están más en sintonía con el funcionamiento diario de las herramientas de IA y están diseñados para dominar algunos de los enormes costos informáticos de IA generativa.
“Estas empresas están viendo oportunidades para ese tipo de hardware especializado”, afirmó Jacob Feldgoise, analista del Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown. “Cuanto más amplia sea la aprovechamiento de estos modelos, más computación se necesitará para la inferencia y más demanda habrá de chips de inferencia”.
¿Qué es la inferencia de IA?
Se necesita mucha potencia informática para crear un chatbot con IA. Comienza con un proceso llamado entrenamiento o preentrenamiento (la “P” en ChatGPT) que implica que los sistemas de inteligencia fabricado “aprendan” de los patrones de enormes cantidades de datos. Las GPU son buenas para hacer ese trabajo porque pueden ejecutar muchos cálculos a la vez en una red de dispositivos en comunicación entre sí.
Sin interrupción, una vez entrenada, una útil de IA generativa todavía necesita chips para hacer el trabajo, como cuando le pides a un chatbot que redacte un documento o genere una imagen. Ahí es donde entra en solaz la inferencia. Un maniquí de IA entrenado debe absorber nueva información y hacer inferencias a partir de lo que ya sabe para producir una respuesta.
Las GPU por otra parte pueden hacer ese trabajo. Pero puede ser un poco como tomar un mazo para romper una nuez.
“Con el entrenamiento, estás haciendo mucho más trabajo pesado. Con la inferencia, eso es un peso más presuroso”, dijo el analista de Forrester Alvin Nguyen.
Esto ha llevado a empresas emergentes como Cerebras, Groq y d-Matrix, así como a los tradicionales rivales de Nvidia en la fabricación de chips, como AMD e Intel, a editar chips más amigables con la inferencia mientras Nvidia se concentra en satisfacer la enorme demanda de las empresas tecnológicas más grandes por su hardware de matiz ingreso. .
Internamente de un laboratorio de chips de inferencia de IA
D-Matrix, que lanzará su primer producto esta semana, se fundó en 2019, un poco tarde para el solaz de los chips de IA, como explicó el director ejecutor Sid Sheth durante una entrevista flamante en la sede de la compañía en Santa Clara, California, el mismo Silicon Valley. ciudad que por otra parte alberga AMD, Intel y Nvidia.
“Ya había más de 100 empresas. Entonces, cuando salimos, la primera reacción que tuvimos fue ‘llegas demasiado tarde’”, dijo. La presentación de la pandemia seis meses a posteriori no ayudó, ya que la industria tecnológica se centró en el software para solucionar el trabajo remoto.
Ahora, sin interrupción, Sheth ve un gran mercado en la inferencia de IA, comparando esa última etapa del formación obligatorio con la forma en que los seres humanos aplican el conocimiento que adquirieron en la escuela.
“Pasamos los primeros 20 abriles de nuestras vidas yendo a la escuela, educándonos. Eso es entrenamiento, ¿verdad? dijo. “Y luego, durante los siguientes 40 abriles de tu vida, sales y aplicas ese conocimiento, y luego eres recompensado por ser eficaz”.
El producto, llamado Corsair, consta de dos chips con cuatro chiplets cada uno, fabricados por Taiwan Semiconductor Manufacturing Company (el mismo fabricante de la mayoría de los chips de Nvidia) y empaquetados juntos de una forma que ayuda a mantenerlos frescos.
Los chips se diseñan en Santa Clara, se ensamblan en Taiwán y luego se prueban en California. Las pruebas son un proceso copioso y pueden durar seis meses; si poco rotura, se puede mandar de regreso a Taiwán.
Los trabajadores de D-Matrix estaban realizando las pruebas finales de los chips durante una invitado flamante a un laboratorio con escritorios de metal garzo cubiertos de cables, placas almohadilla y computadoras, con una fría sala de servidores al bandada.
¿Quién quiere chips de inferencia de IA?
Mientras gigantes tecnológicos como Amazon, Google, Meta y Microsoft han estado devorando el suministro de costosas GPU en una carrera por superarse entre sí en el ampliación de IA, los fabricantes de chips de inferencia de IA apuntan a una clientela más amplia.
Nguyen de Forrester dijo que eso podría incluir a las empresas Fortune 500 que quieran hacer uso de nueva tecnología de IA generativa sin tener que construir su propia infraestructura de IA. Sheth dijo que paciencia un gran interés en la preñez de videos con IA.
“El sueño de la IA para muchas de estas empresas es que puedan utilizar sus propios datos empresariales”, dijo Nguyen. “Comprar (chips de inferencia de IA) debería ser más despreciado que comprar las GPU más avanzadas de Nvidia y otros. Pero creo que habrá una curva de formación en términos de integración”.
Feldgoise dijo que, a diferencia de los chips centrados en el entrenamiento, el trabajo de inferencia de IA prioriza la celeridad con la que una persona obtendrá la respuesta de un chatbot.
Dijo que otro conjunto completo de empresas está desarrollando hardware de inteligencia fabricado para inferencias que puede ejecutarse no sólo en grandes centros de datos sino localmente en computadoras de escritorio, portátiles y teléfonos.
¿Por qué esto importa?
Unos chips mejor diseñados podrían dominar los enormes costes que supone el funcionamiento de la IA para las empresas. Esto por otra parte podría afectar los costos ambientales y energéticos para todos los demás.
Sheth dice que la gran preocupación en este momento es: “¿vamos a enfadar el planeta en nuestra búsqueda de lo que la clan fogata AGI: inteligencia similar a la humana?”
Aún no está claro cuándo la IA podría retrasarse al punto de la inteligencia fabricado genérico: las predicciones varían desde unos pocos abriles hasta décadas. Pero, señala Sheth, sólo un puñado de gigantes tecnológicos están en esa búsqueda.
“Pero ¿qué pasa entonces con el resto?” dijo. “No se les puede poner en el mismo camino”.
El otro aleación de empresas no quiere utilizar modelos de IA muy grandes: es demasiado costoso y consume demasiada energía.
“No sé si la clan verdaderamente aprecia que la inferencia verdaderamente será una oportunidad mucho longevo que la capacitación. No creo que lo aprecien. Lo que verdaderamente acapara todos los titulares sigue siendo el entrenamiento”, afirmó Sheth.