AI需求层次论人工智能应该怎么用？

人工智能和机器学习正成为热议的话题，仿佛一夜之间，各行各业都在争相探索其潜力。这并非简单的开箱即用技术，它的成功应用离不开扎实的基础。数据科学顾问、前Jawbone数据副总裁及LinkedIn数据科学家Monica Rogati提出了一个关于组织应用AI的需求层次理论。她指出，企业在追求AI的顶层应用之前，必须首先解决数据素养、数据采集和基础设施这些基本需求。

正如快速发展的技术往往会引发大规模的FOMO（害怕错过）、FUD（恐惧、困惑、疑虑），AI领域也不例外。从初创企业到金融技术巨头，再到上市公司，每个团队都在紧张地规划自己的AI战略。关键的问题在于：“我们如何利用AI和机器学习优化我们的业务？”

许多公司在AI的道路上遇到了阻碍。他们或许招聘了数据科学家，但效果并不理想。或许数据素养并未成为企业文化的核心。更常见的情况是，企业尚未建立起基础设施，无法实施最基本的数据科学算法和机器学习技术。

作为数据科学/AI顾问，我必须不断传达这样的信息，尤其是在过去两年里。将AI视为需求金字塔的顶端是一个生动的比喻。自我实现的AI无疑是令人兴奋的，但在此之前，你需要稳固的“食物、水和庇护所”——即数据素养、数据采集和基础设施。

那么，如何判断你是否准备好了呢？

你需要关注数据采集。你需要什么样的数据？你手上有哪些数据？如果你的产品面向用户，你是否记录了所有的用户交互？如果是传感器产品，数据从何而来？如何保证数据的完整性和准确性？因为拥有合适的数据集是机器学习取得进展的关键。

接下来，你需要了解数据流如何流经系统。你有可靠的数据流处理系统吗？数据存放在哪里？如何轻松访问和分析这些数据？可靠的数据流是任何数据处理工作的核心，这一点已经得到了广泛的认同。

只有当你有了可靠的数据基础，才能进行数据的探索和清洗。这一阶段的工作包括臭名昭著的“数据清洗”，这是数据科学领域不可或缺的一部分。当你发现数据丢失、传感器故障或版本变更导致的问题时，你需要回头确保金字塔的基础稳固。

当你可以可靠地处理数据时，就可以进行传统上被认为是商业智能或分析的工作，如定义要跟踪的指标、了解其对不同因素的敏感性和进行用户细分。而你的目标如果是AI，那么你现在需要构建的是将来被用作机器学习模型特征的东西。在这个阶段，你也需要明确你要预测或学习什么，并开始准备你的训练数据。

在构建了训练数据后，你是否可以立即进行机器学习呢？这取决于你的需求。如果你想进行客户流失率预测等内部任务，那么可以进行机器学习。但如果你希望将结果应用于客户，那么你需要进行A/B测试或实验框架来逐步部署，避免灾难性的后果。这也是部署简单基线系统的合适时机，为推荐系统等复杂任务打下基础。

应用AI并非一蹴而就的事情。企业在追求其潜力之前，必须首先解决基础问题，确保金字塔的稳固。只有这样，才能充分利用AI和机器学习的力量，实现真正的业务优化。简单的启发法的威力超乎想象

无需神秘的机器学习黑箱，只需运用简单的启发法，即可通过端到端的方式调试系统。在这过程中，超参数调整起着关键作用。

部署一个简单易懂的机器学习算法，如逻辑回归或分类，随后考虑可能影响结果的各种信号和特征。天气和普查数据是我们的重点考虑因素。尽管深度学习具有强大的能力，但它不会自动完成这些任务。引入新的信号（特征建立而非特征工程）可以显著提高性能。投入时间在这里是非常值得的，即使是数据科学家，我们也对探索更高的金字塔层面充满激情。

推动AI发展！

数据在手，设备齐全，ETL开始发挥威力。你的数据已经得到妥善组织并经过清洗。你已拥有仪表盘、标签和优质特征。你正在测量正确的指标，每天都能进行实验。你已经有了一个基线算法，可以进行端到端的调试并在生产环境中运行——你已经进行了多次变更。你已经做好了准备。接下来，从个人扩展到利用机器学习专业公司，你可以尝试最新的、最好的东西。你可能会在生产方面取得巨大的改进，或许不会，但在最坏的情况下，你会学到新方法，形成自己的观点并获得实践经验，可以坦诚地告诉投资者和客户你在AI方面的努力而不是被人质疑。而在最好的情况下，你可以为用户、客户和公司创造真正的差异——这是一个关于机器学习的真实成功故事。

关于MVP、敏捷、精益的思考

数据科学需求层次轮并不是过度建设脱节基础设施的借口。如同传统的最小可行产品（MVP）开发策略，应从产品的垂直细分领域开始，逐步构建完整的端到端流程。在Jawbone的案例中，我们从睡眠数据出发，逐步构建金字塔的每一层：工具、ETL、数据清洗和组织、标签捕捉和定义、指标设定、跨细分市场分析，直至形成数据故事和机器学习驱动的产品（如自动睡眠检测）。我们依次拓展到步数、食物、天气、锻炼、社交网络和沟通等领域，每次只专注于一件事，并在端到端完成后才继续下一个项目，而不是一开始就构建一个包罗万象的基础设施。

提出关键问题，开发合适的产品

我们关注如何做到最好，而不是应该如何（基于实用主义或道德的考量）。

机器学习工具的未来展望

对于Amazon API、TensorFlow等开源库或其他致力于机器学习、自动洞察和特征提取的工具公司，这些无疑都是卓越且有用的资源。但在当前AI炒作的热潮中，许多人试图将这些工具应用于脏乱的数据、格式和含义不断变化的数据流中，期待它们能神奇地处理这些数据。或许未来会有这样的时刻，我对朝着这个方向的努力充满期待。但在那之前，为你的AI金字塔奠定坚实的基础是至关重要的。