El experto en seguridad Bar Lanyado ha realizado recientemente una investigación sobre cómo los modelos generativos de IA contribuyen inadvertidamente a enormes amenazas potenciales a la seguridad en el mundo del desarrollo de software. La investigación de Lanyado encontró una tendencia alarmante: la IA sugiere paquetes de software imaginarios y los desarrolladores, sin siquiera darse cuenta, los incluyen en sus bases de código.
El problema revelado
Ahora, el problema es que la solución generada era un nombre ficticio, algo propio de la IA. Sin embargo, estos nombres de paquetes ficticios se sugieren con confianza a los desarrolladores que tienen dificultades para programar con modelos de IA. De hecho, algunos nombres de paquetes inventados se han basado parcialmente en personas (como Lanyado) y algunos siguieron adelante y los convirtieron en paquetes reales. Esto, a su vez, ha llevado a la inclusión accidental de código potencialmente malicioso dentro de proyectos de software reales y legítimos.
Una de las empresas que sufrió este impacto fue Alibaba, uno de los principales actores de la industria tecnológica. Dentro de sus instrucciones de instalación para GraphTranslator, Lanyado descubrió que Alibaba había incluido un paquete llamado "huggingface-cli" que había sido falsificado. De hecho, había un paquete real con el mismo nombre alojado en el Índice de paquetes de Python (PyPI), pero la guía de Alibaba hacía referencia al que había creado Lanyado.
Probando la persistencia
La investigación de Lanyado tuvo como objetivo evaluar la longevidad y la posible explotación de estos nombres de paquetes generados por IA. En este sentido, LQuery llevó a cabo distintos modelos de IA sobre los desafíos de programación y entre lenguajes en el proceso de comprensión si, efectivamente, de forma sistemática, se recomendaban esos nombres ficticios. En este experimento queda claro que existe el riesgo de que entidades dañinas puedan abusar de los nombres de paquetes generados por IA para la distribución de software malicioso.
Estos resultados tienen profundas implicaciones. Los malos actores pueden explotar la confianza ciega depositada por los desarrolladores en las recomendaciones recibidas de tal manera que pueden comenzar a publicar paquetes dañinos con identidades falsas. Con los modelos de IA, el riesgo aumenta al hacer recomendaciones consistentes de IA para nombres de paquetes inventados, que serían incluidos como malware por desarrolladores inconscientes. **El camino a seguir**
Por lo tanto, a medida que la IA se integra cada vez más con el desarrollo de software, puede surgir la necesidad de corregir las vulnerabilidades si se conectan con las recomendaciones generadas por la IA. En tales casos, se debe practicar la debida diligencia para que los paquetes de software sugeridos para la integración sean legítimos. Además, debería existir una plataforma que aloje el repositorio de software para verificar y ser lo suficientemente sólida como para que no se distribuya ningún código de calidad malévola.
La intersección de la inteligencia artificial y el desarrollo de software ha revelado una preocupante amenaza a la seguridad. Además, el modelo de IA puede dar lugar a la recomendación accidental de paquetes de software falsos, lo que supone un gran riesgo para la integridad de los proyectos de software. El hecho de que en sus instrucciones Alibaba incluyera una caja que nunca debería haber estado allí es una prueba irrefutable de cómo las posibilidades podrían surgir cuando las personas sigan las recomendaciones de forma robótica.
dado por la IA. En el futuro, será necesario adoptar medidas proactivas para evitar el uso indebido de la IA en el desarrollo de software.
Fuente: https://www.cryptopolitan.com/ai-generated-software-packages-threats/