都有哪些硬件的性能会下降？

2、数据清理

直接下载的数据肯定是不能直接用的，我们还需要对数据进行清理。

首先，我们的训练数据只需要工程中的代码文件，以 java 工程为例，我们只保留.java 结尾的文件，其他文件可剔除。

其次，我的代码补全目标是代码段，不针对注释功能。而且对于代码补全训练时，我们是会给定一定范围的上文，如果存在注释段会占用有效代码信息。另外注释除英文外其他字符不在我的训练 vocab 范围内，所以需要对代码中注释和日志进行清理。

1.删除代码行中存在除符号和英文外的字符

2.删除日志行

3.删除注释行，主要针对以下格式

 

码补全模型预测出的结果有时的确会惊吓到我，这也能学到~? 那如果给它见识了全世界的优秀代码，再给足够量级参数和优秀的模型框架，真的可以实现需求作为输入，直接输出代码吗?

"我的需求讲完了，你的代码呢?" 希望可以看到这一天。

代码补齐功能有其他优秀插件也已实现，比如 tabnine，Kite 和国产的 aixcoder。本文主要介绍下代码补全功能需要实现的整套流程。主要包括数据，算法和工程。

数据

众所周知，算法工程师大部分时间都在处理数据。

深度学习是使用大数据训练模型的一个过程，数据是很重要的一个模块。人是会累的，休息不好还导致记忆不好。AI 是你给多少数据它就能存储接收多少数据，学不到信息那是人的错，给的数据不好或者算法设计不好。所以我们先尽可能多的准备好训练数据。

1、数据采集

本文的目的是代码补全，训练数据就是代码段。考虑到每种语言风格和语法都不一致，所以单个模型只针对一种代码语言。

我使用的训练数据主要来源于 GitHub，编写了一个简单的爬虫代码，指定语言后根据 stars 的排序下载工程。

 

1) 你与谁共事?

与数据分析师不同的是，在某些项目中，你将与利益相关者一起工作，但对于模型及其结果的其他方面，你将求助于数据工程师、软件工程师和产品经理。

(2) 你和谁分享发现?

你可以与利益相关者分享自己的发现，但也可以与一些需要了解最终产品的工程师分享，例如，他们可以根据你的预测构建UI。

(3) 做一个项目需要多快?

也许这两种角色在感觉和操作上的最大区别，在于分配给每个项目的时间。虽然数据分析的速度更快，但数据科学家可能需要数周或数月才能完成一个项目。由于存在数据收集、探索性数据分析、基础模型创建、迭代、模型调优和结果输出等过程，数据科学模型和项目可能需要更长的时间。

数据分析师和数据科学家可以共享一些常见的工具，如Tableau、SQL甚至Python，但是每个角色积攒到的经验可能会有很大的不同。

（编辑：四平站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!