本文最初发布于 LinkedIn Pulse，由InfoQ中文站翻译并分享。
6月初，在今年的虚拟CVPR 2020上，我 在 半天的 教程课中 介绍 了如何构建面向大数据的深度学习应用程序。这是一个非常独特的体验，在本文中，我想分享本教程的一些重点内容。
关键问题：大数据上的人工智能
本教程的重点是AI从实验阶段进入生产应用这个过程中出现的一个关键问题，即 如何无缝地将人工智能扩展到分布式大数据 。如今，人工智能研究人员和数据科学家要将人工智能模型应用到存储在分布式大数据集群中的生产数据集上，都需要经历巨大的痛苦。
通常，传统的方法是配置两个独立的集群，一个用于大数据处理，另一个用于深度学习（例如GPU集群），中间部署“连接器”（或胶水代码）。遗憾的是，这种“连接器方法”不仅带来了大量的开销（例如，数据复制、额外的集群维护、碎片化的工作流等），而且还会因为跨异构组件而导致语义不匹配（下一节将对此进行详细介绍）。
为了应对这些挑战，我们开发了开源技术，直接在大数据平台上支持新的人工智能算法。如下图所示，这包括 BigDL（面向Apache Spark的分布式深度学习框架）和 Analytics Zoo（Apache Spark/Flink&Ray上的分布式Tensorflow、Keras和PyTorch）。
原文链接:【https://www.infoq.cn/article/5gqqkPNfmo1daDFVyRbP】。未经作者许可，禁止转载。