随着大型语言模型（LLMs）如ChatGPT在编程领域的应用日益增多，一个关键的问题浮现出来：这种模型能否真正成为编程的“终极助手”？最近，一项关于ChatGPT在编程辅助领域潜能的实证研究给出了一些答案。
该研究围绕三个核心任务展开：代码生成、程序修复和代码摘要。这些任务是评估ChatGPT在编程上实际效用的关键指标。为了获得一个全面的评估，研究者选择了两大编程基准：LeetCode和Refactory。
首先，当涉及到常见的编程问题，如那些在LeetCode上常见的问题时，ChatGPT展现出卓越的能力，生成的代码质量超越了其他现有的技术方法。然而，对于新出现或复杂度更高的问题，ChatGPT的表现有时候却显得力不从心。长描述输入似乎也阻碍了其代码生成能力。
在程序修复方面，ChatGPT展现了很高的成功率，达到了84%。但值得注意的是，仅仅为有bug的代码提供问题描述并不能保证其修复能力会更好。为了最大化其修复功能，必须为模型提供有bug的代码的详细信息。
此外，研究还发现，即使代码包含错误，ChatGPT也能有效地解释代码的原意。这意味着它不仅可以帮助开发者修复代码，还可以在代码复审时提供有价值的输入。
这些发现指出了ChatGPT在编程辅助中的潜在价值，同时也揭示了其局限性。重要的是，开发者需要明确地理解这些局限性，合理地利用这种工具。尽管ChatGPT在某些场景中可以提供很大的帮助，但完全依赖它进行编程仍然不是一个明智的选择。最好将其视为一个辅助工具，而不是一个完全自动化的编程机器人。
总体而言，大型语言模型在编程辅助中无疑有其独特的价值，但也需要开发者有明确的期望并了解其潜在局限。当我们理解并充分利用这些工具时，它们有可能为我们的编程工作带来革命性的改变。
