博客 | 哪个大语言模型 (LLM) 最适合生成 QML 代码 (DeepSeek V3 登场)

QML100基准测试

就像我们在上一篇博客中描述的QML100FIM基准类似，我们开发了一个用于提示代码生成的基准测试。这些基准有助于我们指导客户和调整我们的微调工作。

QML100基准测试包含哪些任务？

QML100基准测试包含100个英文编码挑战，如 "生成一个按钮的QML代码，按钮按下时通过阴影变化来指示状态。"

前50个任务旨在测试QML知识的广度，涵盖了大多数Qt Quick Controls的任务。这些任务包括常见组件（如按钮）和不太常见的控件（如 MonthGrid）的编码挑战。

接下来的50个任务涉及典型的UI框架应用，例如：“生成QML代码，当用户将鼠标悬停在文本输入字段上时显示工具提示。”或“生成QML代码，实现矩形 x 位置每次变化时的平滑动画效果。”

QML100基准测试任务的难度如何？

QML100包含一些简单的任务，所有LLM都能成功完成，例如：“生成一个Hello World应用程序的QML代码，Hello World文本应显示在窗口中央，背景为浅灰色。”

QML100也包含一些所有LLM目前仍无法完成的高难度任务，例如：“生成QML代码，创建一个树形图，显示蔬菜及其可烹饪的食物，并允许通过鼠标点击展开和折叠分支。”

基准测试还包括一些要求修复现有代码中的错误或添加代码以增强现有功能的任务。

图片｜Qt Creator中Qt AI Assistant的LLM选择

很少有任务能衡量对Qt Quick Control内置功能的了解程度，例如 "为复选框创建QML代码，该复选框通过用户的触摸交互设置为选中状态"。许多LLM往往会为指令的所有部分编写代码，从而创建出无法完成上述任务的代码。 在复选框中 添加处理程序 "onClicked: checked =!checked `"会使UI控件失去作用。

不包括需要LLM从多个文件读取上下文的多文件挑战、与Qt Quick3D、Qt Multimedia、Qt Charts、Qt PDF、Qt Positioning有关的任务或任何其他类似任务。

判定条件：生成QML代码被视为正确

生成的代码会在Qt Creator 15中使用Qt 6.8.1工具包手动检查。代码不得包含运行时错误，并且必须完成任务。冗余的导入版本号或不必要的额外代码不会导致disqualification（只要它们能正常运行）。

我们对每个LLM只进行一次提示，不会进行“三次取最佳”之类的操作。考虑到LLM的概率性质，基准测试的响应永远不会完全相同。因此，我不会对LLM比另一个好1%或差1%进行过分解读。

测试了哪些LLM？

新的LLM如雨后春笋般涌现。我们测试了大多数主流LLM，包括可作为商业云服务使用的LLM和以及一些免版税的自托管LLM。

哪种LLM在英文提示下生成的代码最好？

生成QML代码的最佳免税版LLM是DeepSeek-V3，其成功生成代码的得分为57%。整体表现最佳的LLM 是Claude 3.5 Sonnet，成功率为66%。

GitHub Copilot Chat在Visual Studio Code中的表现（截至2024年9月底为42%）有些令人失望。我们希望其表现现已有所提升。然而，上述大多数结果也来自2024年第四季度，只有DeepSeek-V3、Mistral Large 2.1和OpenAI o1是今年进行基准测试的。StarCoder2的结果来自2024年第二季度。

StarCoder15B的表现有些令人失望，尽管它已经过Qt文档的训练。但我们认为应该尝试一下，因为它是唯一一个具有透明预训练数据的模型。

总体来看，无论是代码补全还是基于提示的代码生成能力，Claude 3.5 Sonnet都是一个值得Qt用户认真考虑的选择，尤其是在QML编码技能方面。然而，其他因素如成本效益、知识产权保护和预训练数据透明度，也应成为选择最适合软件创建项目的LLM的考虑因素。

Qt AI Assistant支持多种LLM

在撰写本博客时，Qt AI Assistant支持接入Claude 3.5 Sonnet、Llama 3.3 70B和GPT4o，用于基于提示的代码生成和专家建议。如果你想了解更多关于Qt AI Assistant的功能，请访问我们的产品页面。