清华744「编码碾压ChatGPT！UIUC清华联手发布7B参数Magicoder，代码数据权重全开源」

声明:本文来自于微信公众号 新智元（ID:AI_era），作者:新智元，授权转载发布。

【新智元导读】全新代码大模型Magicoder，不到7B参数，就能在代码生成领域与顶级代码模型不相上下。

开源代码大模型来了!

UIUC清华团队的研究人员发布了Magicoder，不到7B参数，就能在代码生成领域与顶级代码模型不相上下。

值得一提的是，Magicoder的代码、权重和数据，毫无保留完全开源。

论文地址:https://arxiv.org/abs/2312.02120

Magicoder依靠的OSS-INSTRUCT的方法，是通过对现有顶级代码模型（例如ChatGPT）的提示，加上网络上的种子代码片段，来生成的代码。

这可真是取之于大模型，用之于大模型;就有网友转发说道:通过这些结果，看到了提高用于LLMs的合成数据的潜力也是一个非常有趣的领域。

话不多说，那就让我们来具体了解一下Magicoder的来历吧!

代码生成的发展史

代码生成（Code Generation），也叫程序合成(Program Synthesis)，近几十年来，一直都是学术界的一块硬骨头，在此领域进行过的许多尝试，例如基于抽象的合成和基于示例的编程，都没有取得很好的效果。

直到最近，使用在代码上训练的大型语言模型取得了显著的突破，被广泛应用于辅助实际软件开发。

最初，诸如GPT-3.5Turbo和GPT-4之类的闭源模型主导了各种代码生成基准和排行榜。

为了推动开源LLM在代码生成领域的应用，SELF-INSTRUCT方法被开发出来，通过使用强大的LLM生成合成的编码指令，并利用这些指令对较弱的学生模型进行微调，以从强大的教师模型中提取知识。

然而，SELF-INSTRUCT在提高LLM的指令遵循能力时，仍然依赖于狭窄范围的预定义任务或启发式方法。

为了解决这一问题，UIUC和清华的研究人员提出了Magicoder，其中采用的OSS-INSTRUCT方法，旨在减轻LLM固有的偏见，通过直接学习开源代码释放其创造高质量和创意编码指令的潜力。

OSS-INSTRUCT通过从开源中搜集的随机代码片段获得灵感，自动生成新的编码问题。借助于不同的种子代码片段，OSS-INSTRUCT能够直接产生多样、真实和可控的编码指令数据。

如下图所示，在这个例子中，LLM从两个不同函数的不完整代码片段中获取灵感，成功地将它们关联起来，并构建出一个现实的机器学习问题。

由于OSS-INSTRUCT与现有的数据生成方法是正交的，OSS-INSTRUCT可以被同时结合使用，进一步推动模型在编码任务中的能力。

为什么OSS-INSTRUCT如此神奇?

OSS-INSTRUCT的工作方式是通过对LLM（例如ChatGPT）进行提示，然后根据从互联网搜集的一些种子代码片段(例如来自GitHub)生成编程问题及其解决方案。

一方面，种子片段提供了生成的可控性;

另一方面，OSS-INSTRUCT加强了LLM创建编程问题的多样化，更符合真实的编程场景。

我们可以从以下几个指标中一探究竟:

1. 类别平衡

如下图所示，通过计算OSS-INSTRUCT中每个样本的嵌入与这10个类别之间的余弦相似性，可以看出其在不同类别之间表现出了多样性和平衡。

2. 长度分布

下图展示生成问题和解决方案的长度分布，良好的平衡性让OSS-INSTRUCT更贴合实际应用场景。

3. 与HumanEval的相似性计算

下图展示了与HumanEval样本的余弦相似性。

可以看出，OSS--INSTRUCT在所有研究的数据生成技术中表现出最低的平均相似度，这说明OSS--INSTRUCT生成的数据是最富有多样性的。

但是，既然OSS-INSTRUCT获取到的种子片段来自于开源代码，为什么不直接在这些开源代码上进行微调呢?

为了回答这个问题，研究人员遵循CodeSearchNet，使用基础的CODELLAMA-PYTHON-7B对配对数据进行了2个时期的微调，遵循相同训练设置。

对比结果如下表，在75，000个配对注释-函数数据上，微调甚至使基础模型恶化，而OSS-INSTRUCT有助于引入实质性的提升。

研究人员推测，这种恶化可能是由这些配对数据固有的大量噪声和不一致性导致的。

这进一步表明，数据的真实性对于代码指令调整至关重要，而非格式。

该结果还凸显了OSS-INSTRUCT的优越性，可以将这些松散相关的代码片段转化为语义一致的指令调整数据。

Magicoder表现评估

研究团队首先构建了使用OSS-INSTRUCT进行训练的Magicoder系列，同时进一步组合使用OSS-INSTRUCT和Evol--INSTRUCT构建了MagicoderS系列，并在两个系列上都进行了测试。

代码生成基准使用的是HumanEval和MBPP，这是目前两个最广泛使用的基准。这些基准中的每个任务都包括一个任务描述（例如docstring）作为提示，然后让LLMs生成相应的代码。其正确性由少量测试用例进行检查。

为了更严格的评估，研究人员还使用了由EvalPlus框架支持的HumanEval+和MBPP+以获取更多的测试。

值得注意的是，MagicoderS-CL和MagicoderS-DS在HumanEval+上的表现都优于只有7B参数的ChatGPT。

让我们具体看下Magicoder的表现:

1. Python语言

我们首先可以观察到Magicoder-CL相在HumanEval和HumanEval+上相对于CODELLAMA-PYTHON-34B有了实质性的改进。

MagicoderS-CL在HumanEval+上优于ChatGPT和所有其他开源模型。

此外，尽管在HumanEval上得分略低于WizardCoder-CL-34B和ChatGPT，但在更严格的HumanEval+数据集上超过了它们，这表明MagicoderS-CL可能生成更稳健的代码。

2. 其他编程语言

在除了Python之外的语言对比中，Magicoder-CL在所有研究过的编程语言中都大幅超过了基础的CODELLAMA-PYTHON-7B。

此外，MagicoderS-CL在所有编程语言上都进一步改进了Magicoder-CL，仅使用7B参数就实现了与WizardCoder-CL-34B相当的性能。

值得注意的是，Magicoder-CL仅使用非常有限的多语言数据进行训练，但仍然优于其他具有相似甚至更大规模的LLMs。这意味着LLMs可以从数据中学习超出其格式的知识。

3. 数据科学库

最后，针对7个热门Python数据科学库的1，000个独特的数据科学编码问题（DS-1000dataset），研究人员也进行了单元测试，旨在评估LLMs在实际用例中的表现。

从表中可以看出，Magicoder-CL-7B已经在所有评估的基线中表现出色，包括最先进的WizardCoder-SC-15B，改善了8.3个百分点。

虽然Magicoder还不够完美，但作者认为，通过公开分享所有的数据和代码细节，会有越来越多的先进代码模型出现。

让我们也拭目以待。

参考资料:

https://arxiv.org/abs/2312.02120