如何用Python构建MySQL数据处理系统

我是一名自然语言处理/机器学习科学家，我认为拥有良好的计算机科学背景的人无法在这个领域成功工作。我认识的优秀研究人员可能由于某种原因不够熟练，无法成为实时开发和存储库团队的一员。所以，我还是想分享它们，也许有人会发现这些信息有用。

我希望人们喜欢我讲的故事。

(1) 处理异常至关重要

当我第一次尝试连接到存储在 Google Cloud 上的这个特定 MySQL 数据库时，我遇到了许多不同的错误。设置代理时，请积累使用多个代理的经验。问题是，在代码开发的第一阶段，最好处理e 所有错误，尤其是与连接相关的错误，并在必要时引发它们，否则调用 Exchange 语句。

这听起来很简单，但就我而言，可能有环境变量，有UNIX套接字名称和节点环境名称，它们的值可能不正确，数据库凭据也可能不正确，我可以拥有这一切。我花了几个小时研究这些示例，但节省了很多时间，我很高兴将其用于项目开发的这个阶段。

(2) 合适的抽象类是无价的

处理抽象类时需要记住的最重要的一点是，定义它可能需要花费大量的时间和精力，并且确实需要它。我的存储库的结构基于这样一个事实：我必须创建许多具有非常相似的架构（唯一键）的 .csv 文件。事实上，我有很多工具，如提取器、算法、数据后处理器等，所有这些都简化为基本的抽象类，使得创建更容易进入下一个模块。

当你写完第n个模块的时候，你就可以意识到你的类已经完成了，并且明白编译过程中没有定义的构造函数和一些方法已经实现了，所以你不需要担心他们。

（3）灵活的存储库结构总是最好的

有时它可能看起来有点难看（例如，一个文件夹中有1个文件），但如果看到这一点那就太好了一些关键模块需要更改（例如文本预处理器），为此，只需更改 1-2 个文件。

我不是软件架构师，所以很难谈论这个领域的利弊，但我认为组件的高度碎片化和独立性总是好的。我自己开发的存储库有大量的小文件夹，导航到它们比尝试创建整个架构更容易（而且可能更漂亮）。

（4）数据科学模型的测试是值得的

我没有足够的时间来完成涵盖所有内容的完美测试案例。我仍然提到这一点的原因是，如果您的 ML/NLP 模型没有明显的行为，那么最好至少为您自己测试一下。

我没有很多 NLP/ML 算法（其中大多数都很简单），但如果不实现哪怕是最简单的测试，就无法支持其余的算法。此外，测试通常有助于更好地理解模型，因为通过断言语句，当人们希望刷新头脑中的算法时，一些算法概念可能会变得更加清晰。

（5）使数据库符合第三范式

有时这可能是人们讨论的一部分，但如果不做所有3个语句，就没有办法写出有效的语句完全适用于数据库。数据处理系统。没有它们，经常会出现一些不明显的查询问题，甚至无法发现问题。

这是一份简短的 SQL NF 指南，我认为多读几遍是个好主意。 （https://www.geeksforgeeks.org/database-normalization-normal-forms/)

(6) 日志记录错误

在实现日志记录时，您通常不会查看收到的三年内的所有警告和错误，但有些错误可能不可重复，日志记录有助于了解发生的情况。我在本地计算机上实现了此功能，并通过查看服务器上的某些内容无法正常工作时的类似情况节省了数小时的时间。

（7）除非数据库非常简单，否则不需要对象关系映射（ORM）

在做这个项目的很长一段时间里，我真的很担心关于需要使用对象关系映射（ORM）重写了一切。但是我错了。

实际上，像SQLAlchemy和Peewee这样的东西适合小型简单数据库，但它们不适合复杂数据库（有时需要4个分组和5个连接才能编写查询）。它们很优雅，有时非常简单和美丽，但无论如何，如果你只使用连接器 API。我决定使用 MySQL Connector，因为在对象关系映射 (ORM) 中编写所有内容可能会让事情变得棘手。

结论

这篇笔记与ML/NLP算法解释及其性能讨论无关，但我仍然认为它很有用。我希望在开始从事这个项目之前就已经了解上述所有陈述，但我也确信只有在花费一些时间修复错误并寻找实际问题之后，其中一些陈述才会变得清晰易懂。

这里分享如何使用Python搭建MySQL数据处理系统的问题解答。希望以上内容能够对大家有所帮助。如果您还有很多疑问没有得到解答，您可以关注行业资讯频道，了解更多相关知识。