• 0 Posts
  • 319 Comments
Joined 3 years ago
cake
Cake day: June 12th, 2023

help-circle








  • Ok. El paper del Fean sobre Ia IA y tiny LoRA creo decía algo así:

    Adaptar las capacidades de un modelo (fine tunning) es un coñazo, necesitas una ia que entrene el modelo base… pero existe una forma de hacer lo mismo usando muy pocos datos si el modelo inicial es lo suficientemente grande.

    Puedes enseñarle a razonar matemáticamente, de forma más efectiva. Porque siempre tuvo el potencial.

    Si bien la muestra parece funcionar mejor en Qwen que en Lama y solo se refiere al desempeño del razonamiento matemático, esta técnica podria permitir mejoras que no requieren granjas enormes de servidores. Ptencialmente permitiría expandir casos de uso muy específico a bajo costo.

    ¿No quieren ver la IA en todos lados?. Pues que mal, hora sí que la verán en todos lados.

    Pd: Un barco grande requiere movimientos sutiles de timón para cambiar de dirección.




  • En el estudio de proteínas esto se viene haciendo hace rato preguntando a la IA que le parece interesante y luego los científicos lo prueban. Lo que se automatizó aquí fue la parte rutinaria de correr esos experimentos. En vez de esperar el desarrollo de nuevas máquinas que permitan correr experimentos de manera eficiente, se eligió un método más costoso pero flexible y con el potencial de lograr economías de escala. Quizá la idea sea dividir el trabajo científico a la manera que se divide la producción de chips en diseño y fabricación.