Generazione di codici con IA: confronto con i programmatori umani

ChatGPT ha una gamma di successo estremamente varia nella produzione di codice funzionale. La sua percentuale di successo oscilla dal 0,66% fino all'89%, in base alla difficoltà del compito, al linguaggio di programmazione e ad altri fattori. In alcuni casi, l’IA è stata in grado di produrre codice migliore rispetto agli umani, ma ci sono preoccupazioni relative alla sicurezza del codice generato. Lo studio ha testato GPT-3.5 con 728 problemi di codifica su cinque linguaggi e ha rivelato che ChatGPT è particolarmente bravo nel risolvere problemi esistenti su LeetCode prima del 2021 con successo rispettivamente dell'89%, 71% e 40% per problemi facili, medi e difficili. Tuttavia, la capacità di generare codice corretto per problemi post-2021 è diminuita drasticamente, con tassi di successo scesi fino a 0,66% per problemi difficili.