建立可靠的云安全生态

可以看出，模型的预计结果还是不错的~

以上为代码补全功能的实现和应用，算是 AI 自动写代码的一小步。

AI 能否自己写代码，达到疑犯追踪里 TM 那种水平，我不敢说一定不可能，但以我目前的认知是实现不了，毕竟写代码的是程序员，给算法喂数据的是程序员，算法设计还是程序员，AI 连帮人类解 bug 的功能都还不出现!

 

输入一段代码，预测出后续代码，以回车符截止。

工程

众所周知，算法工程师大部分时间都在做工程。

训练出模型后，还要把模型应用起来，所以还需要一些工程工作需要实现。代码补全功能，最合适的应用场景就是上 IDE。nlp 模型不太适合在本机部署，最终选择了在 GPU 机器上部署模型，然后终端通过 http 请求获取预测文本显示的方案。

后台部署

Flask 是一个 Web 应用程序框架，灵活，轻便，容易上手。本文简单介绍如何利用 flask 启动一个 web 服务，以及如何访问和调用我们的功能接口。首先我们创建一个 conda 环境：

 

经过以上数据清理后，得到纯代码数据。

3、数据编码

得到了训练数据后还需要把代码文本进行编码。本文使用的是 bpe(byte pair encoder)字节对编码，主要为了数据压缩。bpe 简单理解为将一个单词再拆分为多个字母组合，比如 tencent 拆分为 ten-cent，这些组合方式则是根据大量数据，统计频率得到。由于我们期待的代码补全功能是在行首输入几个字母，根据上文预期出本行内容。

假设 tensorflow 这个 token 被编码对应到一个 id，那我希望输入 ten 就输出 tensorflow 是无法实现的。所以在训练过程中，我会随机把 token 打断，比如将 tensorflow 打断为 t-en-sor-flow 进行编码，打断原则是被切分的部分一定要在词汇表中。数据编码后，代码的每个 token 被编码为 1~N 个 id。模型预测到的 id 反编码为 token 即可。回车符认为是预测的终止符。经过以上处理，我们就准备好了训练数据，下面就可以进行算法部分了。

模型算法

众所周知，算法工程师大部分时间都在研究算法。

在腾讯文档的错别字纠错需求中，我们采用了基于 LSTM 的 seq2seq 以及 facebook 提出的基于 CNN 的 seq2seq，可以得到不错的纠错效果。直到 NLP 出现了一个"网红"--BERT，采用后精度直接提升 8 个点左右，不亏是 google。下面先简单介绍下 bert 和 gpt2。

BERT 和 GPT2

2017 年中 google 提出了 Transformer 结构。不用 rnn，不用 cnn，提出 attention is all you need。2018 年 openAI 采用了 transformers 结构在 18 年发布了 GPT。同年 google AI Language 发布了 bert 论文，提出的 BERT 模型在 11 个 NLP 任务上刷新了记录。2019 年 openAI 又推出了 GPT-2 模型。。

BERT(Bidirectional Encoder Representation from Transformers)是基于 transformers 框架的 encoder 部分，自编码语言模型，适合 N-1(比如句子分类)，N-N(比如词性标注)的任务，但是它并不适合做生成任务。

GPT(Generative Pre-Training)基于 transformers 的 decoder 部分，自回归语言模型，适合生成式任务。

（编辑：四平站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!