服务器厂家_如何选_什么是云计算和大数据

2021-03-30 13:17

服务器厂家_如何选_什么是云计算和大数据

您可能知道,泛在电力物联网,Kubernetes已经成为默认的容器云编排系统。您可能不知道的是,开发人员一直在使用Kubernetes作为其他软件栈的基础。随着最新的Kubeflow,机器学习(ML)来到了Kubernetes。Kubeflow项目的工程师David Aronchick和Jeremy Lewi解释说:构建任何生产就绪的机器学习系统都涉及到各种组件,hadoop大数据,通常将供应商和手工解决方案混合在一起。即使是中等复杂的设置,连接和管理这些服务也会给采用机器学习带来巨大的复杂性障碍。在测试单个模型之前,基础设施工程师通常会花费大量时间手动调整部署和手动滚动解决方案。更糟糕的是,这些部署与它们所部署到的集群紧密相连,以至于这些堆栈是不可移动的,这意味着如果不进行重大的重新架构,将模型从笔记本电脑移动到高度可伸缩的云集群实际上是不可能的。所有这些差异加在一起会浪费精力,并在每次转换时创造引入bug的机会。如果你认识库伯内特斯,你就知道这是怎么回事了。通过在Kubernetes上构建ML堆栈,ML集群可以在任何Kubernetes实例上运行。这使得ML程序更易于移植。正如CoreOS产品副总裁Reza Shafii所言,"Kubeflow项目是一个必要的进步,可以使在Kubernetes上设置和生产机器学习工作负载变得更加容易,我们预计它将大大增加更多企业使用该平台的机会。"今天,Kubeflow项目包含一个开源Github存储库。它包含:JupyterHub用于创建和管理交互式Jupyter笔记本电脑一种Tensorflow自定义资源(CRD),可配置为使用CPU或GPU,并通过单个设置调整为群集的大小Tensorflow服务容器容器解决方案软件工程师菲利普温德(Philip Winder)表示,Jupyter笔记本电脑"通过提供一种文档样式的格式,行业大数据分析,可以将代码和标记嵌入到同一个文件中,从而在数据科学领域掀起了一场风暴。""Kubeflow是Jupyter Hub和Tensorflow的混合体,"Winder说。Tensorflow是一个基于图形的通用计算引擎,它抽象了硬件问题;因此,大数据分析,无论您是在CPU还是GPU上运行,云端服务器,您都可以使用相同的代码。它最常用于实现深度学习模型。温德解释说,库贝弗洛是一个游戏规则的改变者,因为它:允许工程师在单个可扩展平台上调查、开发、培训和部署以深度学习为中心的模型。最棒的是,由于Kubernetes和Docker抽象了底层资源,所以在您的笔记本电脑、本地硬件和云集群上也可以使用相同的部署。别搞错,这是了不起的。几十年来,数据科学家一直在完全孤立的情况下开发他们的算法。他们使用深奥的专有系统和语言(Matlab、Mathematica、SAS、SPSS等)。它曾是(现在在许多企业中仍然是)一堵墙。这个项目标志着数据科学家和/或软件工程师作为不同角色的终结的开始。就像DevOps合并了运营和开发一样,DataDevOps将消耗数据科学。Kubeflow还利用了Ksonnet项目,这是一个运行在Kubernetes上的配置应用程序。对于Kubeflow,Ksonnet支持在开发、测试和生产环境之间移动工作负载。与Kubernetes一样,Kubeflow由Linux基金会的云计算基金会(CNCF)管理。它已经吸引了许多行业的支持,比如CaiCloud、redhat、Canonical、Weaveworks和Container Solutions。想试试库贝弗洛吗?ubuntulinux的创建者Canonical已经使用amazonwebservices(AWS)建立了一个优秀的Kuberflow指南。如果您对ML或数据科学感兴趣,您必须查看Kubeflow。它确实有可能改变一切。相关链接亚马逊加入了对库伯内特斯的抢购微软在kubernetesforazure上加倍努力对于云容器编排,一直都是Kubernetes

分享到:
收藏
相关阅读