数据科学

有一天，我的同事问我，他应该如何做一个快速预测模型而不是Excel，并产生比线性回归或Excel图中的那些简单方程更好的结果。这是我的答案。

在文本文档中查找个人身份信息（PII）可能很有用，原因有几个，但我多次遇到的一个用例是帮助匿名文本，以便：

• 与第三方共享数据
• 遵守GDPR等法规要求
• 将PII替换为模拟数据，用作机器学习和其他探索性分析的训练数据

我将尝试自动化查找PII的过程，在本系列文章中，我们将探索一些流行的开源工具和技术，以便在我们自己的数据中识别不同类型的PII。

到目前为止，我们已经找到了查找人名、电子邮件地址、电话号码和信用卡号码的方法。让我们看看我们还能找到哪些其他类型的PII。

介绍Hugging Face

Hugging Face是一个流行的Python库，包含预先训练的人工智能模型，可用于各种自然语言处理（NLP）任务，包括命名实体识别（NER）。正如我们在前几篇文章中所讨论的，NER是一种非常有用的检测文本中PII的技术。

Python示例

让我们看看我们将如何使用拥抱脸。

先决条件：

在文本文档中查找个人身份信息（PII）可能很有用，原因有几个，但我多次遇到的一个用例是帮助匿名文本，以便：

• 与第三方共享数据
• 遵守GDPR等法规要求
• 将PII替换为模拟数据，用作机器学习和其他探索性分析的训练数据

我将尝试自动化查找PII的过程，在本系列文章中，我们将探索一些流行的开源工具和技术，以便在我们自己的数据中识别不同类型的PII。

在第一部分中，我们找到了一种在文本中查找人名的方法，让我们看看我们还可以找到其他类型的PII。

介绍Duckling

Duckling是一个Haskell库，由Facebook开源，用于将文本解析为结构化数据。Duckling可以帮助我们在文本中找到不同类型的信息，包括信用卡号码、电子邮件地址和电话号码。

现在别担心，如果你不是了解Haskell的三个人之一，我们可以将Duckling与任何编程语言一起使用。

Python示例

让我们看看我们将如何用一种不需要关于副作用的害处的演讲的语言来使用Duckling。

• ANOVA : Analysis of Variance
• AUC : Area Under the Curve
  

Probably the best curated list of data science software in Python

以主题为中心的总部开放数据集列表。

一个很棒的数据科学存储库，用于学习和应用现实世界的问题。

An open source Data Science repository to learn and apply towards solving real world problems.

This is a shortcut path to start studying Data Science. Just follow the steps to answer the questions, "What is Data Science and what should I study to learn Data Science?"