普渡大學(xué)的一個研究小組于5月初出席計算機-人交互大會，并提交了一份報告，檢查了ChatGPT回答的517個StackOverflow問題，發(fā)現(xiàn)錯誤率高達52%。調(diào)查結(jié)果顯示，人類程序員在35%的情況下更喜歡ChatGPT的答案，認為其提供的內(nèi)容更全面，且有清晰的語言風(fēng)格；更糟糕的是，在39%的情況下，人類程序員并沒有發(fā)現(xiàn)ChatGPT給出了錯誤答案。雖然這只是對ChatGPT功能的一個方面進行的研究，但它確實表明，生成式人工智能機器人仍然容易犯很多錯誤，而人類可能無法發(fā)現(xiàn)這些錯誤。