当前位置:主页 > 大数据 > 正文

企业网站_网站建设公司优势_速度快

时间:2021-05-04 04:20 来源:埃里克云 编辑:埃里克云

核心提示

SAP Data Intelligence允许协作扩展企业中的AI功能。它提供了一个端到端的工具,通过内置的数据治理和生命周期管理工具有效地管理机器学习模型。 本文的目的是描述提供和维护机器学...

SAP Data Intelligence允许协作扩展企业中的AI功能。它提供了一个端到端的工具,通过内置的数据治理和生命周期管理工具有效地管理机器学习模型。

本文的目的是描述提供和维护机器学习服务的必要步骤。这包括数据科学项目的典型阶段:

数据准备实验模型开发部署生命周期管理

数据科学家通常通过在Jupyter笔记本上进行实验来完成机器学习任务。他需要存储数据,例如在DataLake中。完成实验后,服务需要产品化。

您将学习如何建立培训和推理管道。最后,为了测试部署的ML服务,您将使用简单的方法来模拟REST客户机。

ML场景管理器还支持ML服务的生命周期管理。模型可以根据新数据进行训练并重新部署。版本控制确保每一步都是可重复的。

这篇博文扩展了博文SAP Data Intelligence:通过使用Tensorflow进行培训并提供机器学习模型来创建您的第一个ML场景。

注意:这里不包括基于GPU的培训。MLF训练操作符利用gpu的能力,而普通Python操作符不能做到这一点。

Iris数据集包含150条记录,其中包含4个花瓣属性和相应的Iris物种名称。用于训练的属性有花瓣长度、花瓣宽度、萼片长度、萼片宽度。

将原始数据复制到文本文件中,另存为"虹膜.csv".在SAP Data Intelligence启动板中,选择Metadata Explorer并单击"浏览连接"。选择"连接到DI数据湖;类型:SDL"先决条件:在连接管理应用程序中,已启用SDL(SAP数据湖)连接类型。选择"worm"(一次写入,多次读取)文件夹。这用于不可变的工件和数据。注意:"蠕虫"将在2020年被弃用。改用"shared"。创建文件夹"iris"以存储与此项目相关的数据。点击"iris"文件夹上传文件虹膜.csv"ML Scenario"代表数据科学项目,包括生产ML服务和维护其生命周期的所有内容。

在DI启动板中启动ML Scenario Manager。点击"+"号创建一个ML场景,并提供一个名称,例如"Iris–flower classification"

注册数据集

可以对数据湖存储中的训练数据进行版本控制,以确保训练管道创建的模型是可复制的。因此,我们将数据集注册为此ML场景的工件。

在"数据集"部分,单击"+"号注册iris数据集:输入名称和"dh dl://worm/iris/虹膜.csv"作为url。注意:"蠕虫"将在2020年被弃用。替换为"共享"。点击右上角的"创建版本"。这将创建当前ML场景的快照。

Jupyter笔记本提供了一种很好的方法来准备数据和测试用于训练神经网络的python/tensorflow代码。

在"笔记本"部分,单击"+"符号并提供名称。在Jupyter Lab中,单击笔记本并选择"Python3"作为内核。从复制代码凯拉斯.ipynb.从Jupyter菜单运行"所有单元格"

当网络对测试数据的准确率达到96%时,我们准备将代码生成到训练管道中。

关闭Jupyter实验室选项卡。在Scenario Manager中单击"创建版本"

此处使用的培训管道创建模型工件。这是生命周期管理的必要步骤,因为它允许复制工件。

构建自定义Docker

普通Python操作符基于Docker映像,不包括tensorflow之类的库。因此,我们需要构建一个定制的docker,在那里我们的代码可以被执行。

按照博客文章SAP Data Hub中的步骤-用自己的Dockerfile开发一个定制的管道操作符(第3部分)(仅"1"部分)。创建Dockerfile"。

dockerfile如下所示,需要添加的标签列在标签.json. (注意:在配置面板中添加一个标记并保存。然后您可以在左边的"存储库面板"中编辑Docker文件正下方的Tags文件。复制并粘贴整个标签.json)

提示:最后一个名为"iris"的标签只用于使我们的标签列表唯一。稍后我们将使用此标记引用我们的自定义docker.

创建培训管道

在Scenario Manager中转到管道部分并单击"+"符号输入"train"作为名称和可选描述,例如"training pipeline"选择"Python Producer"模板。单击Create,将打开pipeline modeler。单击"读取文件"操作符并打开"配置"(右侧的图形工具栏按钮)。在"服务"下拉列表中,选择"SDL"(语义数据湖)注意:"Path"条目"${inputFilePath}"在执行管道时充当输入变量。

训练管道将使用"read File"操作符从DataLake读取数据,并将其输入包含训练代码的Python3操作符。如果您喜欢以块的形式读取数据,也可以使用sapdi sdk在Python3操作符中读取数据。

生成的模型被"工件生成器"注册为这个ML场景的工件。

在运行实验中的tensorflow代码之前,我们需要执行一些修改,i、 e.Jupyter笔记本

  • 企业网站_新白娘子传奇百度云_折扣 企业网站_新白娘子传奇百度云_折扣

    你好,社区, BSI TaxFactory和TaxFactory SaaS发布版本11.0可用。 在我们的合作伙伴BSI将其产品/产品BSI TaxFactory 10.0的维护延长至2021年4月30日之后。SAP还决定在2021年4月30日之前为BSI TaxFactor...

  • 消息队列_华云服务器_限量秒杀 消息队列_华云服务器_限量秒杀

    啊。我已经很久没在这里写博客了-对不起? 但这是一个很好的机会让我重新上马,这是我与SAP TechEd Barcelona的SAP社区负责人Craig Cmehil的"无采访视图"(无采访视图就像一次真正的采访...

  • <strong>域名备案_查看数据库密码_怎么样</strong> 域名备案_查看数据库密码_怎么样

    在本文中,我们将看到如何在sapcloudfoundry环境中为Spring启动应用程序配置OAuth2授权。但是在这样做之前,让我们先熟悉一下这个实现中涉及的几个重要概念。 简介 OAuth2–是一个授权框...

  • <strong>MySQL数据库_网站cdn_多少钱</strong> MySQL数据库_网站cdn_多少钱

    您已经听说了SAP Graph在SAP TechEd Las Vegas 2019发布的消息。微软Graph也非常棒,非常相似(哲学上+技术上),它不仅非常有用,而且我会给你一个微软Graph的工作示例/教程,让你了解它,...

  • 京东云_网站建设中页面_学生机 京东云_网站建设中页面_学生机

    在可预见的未来,向S/4HANA过渡的公司特定规划已将每个SAP客户列入其议程。S/4HANA实施项目越来越近了,因此也有一个问题:在技术和开发层面必须做哪些准备?正是这个主题是"S/4H...

  • <strong>天翼云_网站服务器失去响应怎么回事_代</strong> 天翼云_网站服务器失去响应怎么回事_代

    大家好, 欢迎来到一个关于用户浏览器没有启用JavaScript的用户体验主题的简短博客。 考虑到1%的设计理念,如果我们考虑那些禁用或不可用JavaScript的浏览器的用户(出于"天知道为什...

  • <strong>对象存储_网站建设外贸_速度快</strong> 对象存储_网站建设外贸_速度快

    在本文中,我将展示如何通过负载平衡器为我们的生产数据库构建一个具有高可用性的HANA驾驶舱。我建议您开始阅读SAP指南HowTo:High Availability for SAP HANA cockpit using SAP HANA system replicat...

  • <strong>中间件_重庆网站建设策划_促销</strong> 中间件_重庆网站建设策划_促销

    SAP Customer Data Cloud在9月份推出了许多功能。如果你错过了这些,下面是我们9月份发布的几个亮点。 与苹果公司登录:苹果公司已经发布了使用苹果ID登录应用程序的选项。他们甚至规...

  • 消息队列_马云御任阿里巴巴_年度促销 消息队列_马云御任阿里巴巴_年度促销

    本周在拉斯维加斯TechEd看到的创新给我留下了非常深刻的印象。今年似乎出现了比过去更多的业务倾斜。主要的宣布是我们可以通过业务技术平台扩展SAP应用程序 HANA云服务(HCS)是业...