Artificial intelligence system rewrites its own code to evade human control/Sistema de inteligencia artificial reescribe su propio código para evadir el control humano
Source
As my wife often says, "I told you so." Just yesterday we were discussing Cardano and Algorand's intention to join forces to decentralize AI, and today we have an example in which this idea would have been very effective in countering AI's abilities to deceive humans, as The AI Scientist a model designed by the Japanese company Sakana did.
Como suele decir mis esposa "os lo dije", precisamente ayer comentábamos la intención de Cardano y Algorand de unir esfuerzos para descentralizar la IA y hoy tenemos un ejemplo en el que esta idea hubiera sido muy eficaz para contrarrestar las habilidades de la IA para engañar a los humanos, como hizo The AI Scientist un modelo diseñado por la empresa japonesa Sakana.
The AI Scientist was developed with the ambitious goal of fully automating the scientific research process. The idea behind this AI was to create a tool capable of generating new hypotheses and research ideas, instead of relying solely on the intuition and experience of scientists, The AI Scientist could propose new lines of research based on data and analysis.
The AI Scientist fue desarrollado con el ambicioso objetivo de automatizar completamente el proceso de investigación científica. La idea detrás de esta IA era crear una herramienta capaz de generar nuevas hipótesis e ideas de investigación, en lugar de depender únicamente de la intuición y la experiencia de los científicos, The AI Scientist podría proponer nuevas líneas de investigación basadas en datos y análisis.
Source
AI would be able to plan and execute experiments autonomously, significantly reducing the time and resources required, as The AI Scientist would be able to process large amounts of data and extract relevant information to validate or refute hypotheses and generate detailed and well-structured reports, describing the results of the research.
La IA podría planificar y ejecutar experimentos de manera autónoma, reduciendo significativamente el tiempo y los recursos necesarios, ya que The AI Scientist estaría capacitado para procesar grandes cantidades de datos y extraer información relevante para validar o refutar hipótesis y generar informes detallados y bien estructurados, describiendo los resultados de la investigación.
The problem is that the AI turned out to be smarter than expected and demonstrated a surprising ability to modify its own code with a very specific objective: to evade the restrictions imposed by its creators, specifically by manipulating the time limits established by the scientists, included in their code.
El problema es que la IA les salió más lista de lo esperado y demostró una capacidad sorprendente para modificar su propio código con un objetivo muy específico: evadir las restricciones impuestas por sus creadores, concretamente manipulando los límites de tiempo establecidos por los científicos, incluidos en su código.
Source
Instead of optimizing its process to work faster, as you might expect, the AI realized that it could simply change the code that set that time limit. In this way, it artificially extended the time it had to complete the task, without expending any additional effort, which, admittedly, is a very human trait.
En lugar de optimizar su proceso para trabajar más rápido, como era de esperar, la IA se dio cuenta de que podía simplemente cambiar el código que establecía ese límite de tiempo. De esta forma, extendía artificialmente el tiempo que tenía para completar la tarea, sin realizar ningún esfuerzo adicional, lo cual hemos de reconocer que es un rasgo muy humano.
As you might have guessed, if an AI can modify its own code in this way, it is very difficult to predict how it will behave in the future and what other actions it might take to achieve its goals. If the AI were decentralized, consensus would be needed from all nodes in order to modify the code, which would prevent the AI from taking over.
Como habréis adivinado, si una IA puede modificar su propio código de esta manera, es muy difícil predecir cómo se comportará en el futuro y qué otras acciones podría tomar para alcanzar sus objetivos. Si la IA estuviese descentralizada, se necesitaría el consenso de todos los nodos para poder modificar el código lo que impediría que la IA se haga con el control.
More information/Más información
https://vulcanpost.com/868310/ai-bot-tries-to-rewrite-its-own-code-to-cheat/
Esa autonomía que se le atribuye a este robot me parece muy peligrosa, al ser capaz de cambiar su código puede implicar cierta rebelión ante las reglas, ¿quién lo controlará para que no haga lo que le venga en gana?
Gracias por compartir, saludos y bendiciones.