东台建设局官方网站,广州新塘排名seo优化公司,如何防止网站挂黑链,营销模式引言
DataWorks提供了三种资源组的能力#xff1a;独享资源组、自定义资源组和默认资源组#xff0c;很多开发者在使用资源组时经常会碰到各类情况#xff0c;到时候任务运行失败或者延迟#xff0c;例如#xff1a;1. 正在使用默认资源组#xff0c;任务经常要等待2.购…引言
DataWorks提供了三种资源组的能力独享资源组、自定义资源组和默认资源组很多开发者在使用资源组时经常会碰到各类情况到时候任务运行失败或者延迟例如1. 正在使用默认资源组任务经常要等待2.购买错了资源组类型独享数据集成资源组与独享调度资源组使用不了3.购买错了地域杭州开通DataWorks购买了北京的资源组4.没买错资源组类型也没买错地域当天还是用不了
通过本篇文章为您介绍三种资源组的使用场景、使用方式等下图描述了整个任务在运行过程中不同类型使用的资源组的流程 调度有三种资源组默认、独享、自定义DataWorks中的数据集成也有同样的三种资源组默认、独享、自定义数据集成的同步资源管理复用调度系统资源管理系统在使用DataWorks的时候如果需要使用数据集成任务那么需要区分开调度和数据集成2种资源组的概念
默认资源组 默认资源组是DataWorks在租户开始使用时候就给每个租户颁发的资源组了租户内所有项目共享不需要任何配置、操作就可以运行任务但是该默认资源组需要说明节点 使用场景 默认资源组是在租户购买了DataWorks时候就会默认创建的可以支持用户在页面进行数据开发、运行测试等能力目前是免费支持的任务量相对较少或者相对来说对任务时效性要求不高的场景 提供的能力 支持所有的任务类型但不支持 需要公网访问外部服务且需要白名单的不支持需要访问VPC的任务不支持需要访问公网的也不建议使用建议切换其他资源组使用任务安全沙箱的能力 注意事项 默认资源组最大调度资源是有固定分配的默认大小的所有租户下项目共享会存在项目之间的资源抢占不能100%保障任务按时获得资源运行默认资源组是在平台的公共集群下的所有租户都共享该集群资源所以在高峰期会存在租户之间的资源抢占不能100%保障任务按时获得资源运行 费用 按量付费实例费用、同步进程费用等
独享资源组 目前DataWorks的独享资源组提供了2种独享调度资源组和独享数据集成资源组在此处为了更好的理解为什么需要2种资源组的方式可以将独享数据集成资源组理解为MaxCompute的计算资源概念因为数据集成隶属于DataWorks产品内所以在同步资源是跟调度资源在一起购买的可以参考引言中的图
一、独享调度资源组
1信息说明
版本要求无 类型 独享调度资源组独享数据集成资源组 使用场景 推荐只要生产任务都使用独享资源组 资源可随时调配任务产出可得到保障任务量大、且对任务时效性要求高的场景必须使用独享需要访问公网地址、访问VPC地址请使用独享访问目的端服务需要配置白名单的场景请使用独享自己VPC与IDC已经打通任务需要访问IDC的可使用独享解决网络问题 注意事项 独享目前不能支持跨租户节点、机器学习任务其余支持购买独享资源组的时候务必要注意购买与自己VPC在同一个可用区 切换任务资源组的时候 注意每种任务类型都需要测试验证网络是否已经打通 费用 调度相对默认资源组如果实例超过500个独享资源会相对便宜很多不收取实例费用仅资源费用
2如何修改任务运行到独享调度资源组
特别特别注意1、在运维中心任务修改资源组周期任务是需要第二天才会生效及时生效可以通过测试或者补数据运行即可2、__一定要先单个测试在批量修改,__一定要先单个测试在批量修改,__一定要先单个测试在批量修改3、如果有网络打通的优先将网络打通可以在测试的时候验证出来的详细操作步骤 step1购买独享资源组 说明一般按照实际的任务并发数来购买对应的资源数量可以参考https://help.aliyun.com/document_detail/125776.html?spma2c4g.11186623.6.573.20a87b75cx5tkl 里面的场景三购买指引https://help.aliyun.com/document_detail/121526.html?spma2c4g.11174283.6.641.4b1c2b65Y7CSE8登录管控台目前需要有主账户权限或者已经授权过的子账户打开页面点击“新增独享资源组”新增页面选择“独享调度资源组”点击购买链接去购买此处特别建议至少购买2台做容灾保障Failover的能力购买完毕后就可以返回在控制台刚才的创建页面选择订单号了然后选择可用区特别特别注意可用区需要跟您的VPC在一个可用区就是你的任务是否需要访问VPC地址比如访问ads、adb等就需要跟次VPC在一个可用区如果没有可用提工单step2购买成功后大概需要等待5分钟左右资源组即可创建完毕【需要点击刷新按钮不会主动刷新】step3将资源组分配到需要的项目中使用,点击“修改归属空间”点击确定接口step4指定完毕项目空间后就可以切换到运维中心去修改任务资源组了step5打开运维中心切换到指定项目下比如此处上述资源组分配到了monitor_prj项目中到该项目的到周期任务中选择需要修改的点击下方有个更多里面有个修改资源组
特别特别注意虚节点、工作流、机器学习等任务类型不要选择上因为这些不支持资源组修改 -
step6修改完毕资源组后可以点击任务详情查看属性就可以看到任务的资源组信息step7测试验收 任务资源组修改完毕后可以进行测试、补数据运行任务就会运行到当前的资源组上可以通过查看日志判断任务是否已经在独享资源组上-
任务运行成功在看下日志了是否都OK的就说明该任务运行到独享资源组上没有什么问题step8批量修改同一种任务类型的任务切换到该资源组上 过滤节点类型全选以上就完成了将任务迁移到独享资源组运行的操作了
二、独享数据集成资源组
一信息说明
版本要求无 使用场景 推荐只要生产任务都使用独享数据集成资源组 资源可随时调配任务产出可得到保障任务量大、且对任务时效性要求高的场景必须使用独享需要访问公网地址、访问VPC地址请使用独享访问目的端服务需要配置白名单的场景请使用独享自己VPC与IDC已经打通任务需要访问IDC的可使用独享解决网络问题 注意事项 如果数据源是经典网络的不可迁移到独享因为独享是VPC的购买独享资源组的时候务必要注意购买与自己VPC在同一个可用区
二如何修改任务运行到独享数据集成资源组
写在最前面 1、一定要先单个测试在批量修改,一定要先单个测试在批量修改,一定要先单个测试在批量修改2、如果有网络打通的优先将网络打通可以在测试的时候验证出来的3、独享数据集成资源组是在数据开发页面修改提交发布后是及时生效的详细操作步骤
step1购买创建、分配流程同独享调度资源组是一致的注意一点就是规格问题简单理解多大内存就允许多大并发 step2修改任务到独享数据集成资源组登录到对应项目空间的数据开发页面找到你的同步任务打开编辑 通过向导模式配置任务时在通道控制 任务资源组下拉框中选择相应的独享数据集成资源。通过脚本模式配置任务时单击右上角的配置任务资源组在任务资源组下拉框中选择相应的独享数据集成资源。step3任务资源组修改完毕后保存提交发布后一样的在运维中心进行测试或者补数据运行就可以验证是否测试通过step4目前数据集成资源组的修改无法支持批量修改只能按照上述方法逐一任务修改
三、专有网络绑定 使用场景 当配置的任务需要访问自己VPC内的地址的时候就需要做VPC之间的网络打通比如需要访问adb的vpc那就必须要做这一步如果你的VPC跟你的IDC已经专线打通那也可以通过此功能将独享与你的idc打通可以支持任务运行不过此操作需要平台支持 前提条件 创建的独享资源组与自己VPC在一个可用区如果不在一个可用区建议重新购买创建若无法重新创建则只能提工单需求 操作步骤 step1打开控制资源组列表找到独享资源组-专有网络绑定step2点击后需要授权使用点击授权即可step3选择需要绑定的资源组点击 新增绑定step4填写对应的自己VPC下的信息 特别注意选择VPC、交换机、安全组都是你目的端要访问的云产品实例所在的如果没有交换机或者安全组可点击创建注意创建的时候都要在该可用区下step5如果你的云产品实例需要配置白名单的话绑定成功后回到独享资源组列表点击 查看信息 会有eip、网段需要将此2个IP和ip段作为白名单列表添加到你对应的云产品实例的IP白名单列表中同时需要将自己云产品实例所在的交换机网段内网网段也添加到自己的白名单IP列表中特别特别注意如果您的MaxCompute开启的IP白名单任务切换到了独享资源组后发现白名单问题请提工单由平台方提供IP列表添加四、运维助手 使用场景 解决一些资源包没有安装的问题用户可以自己操作安装比如python的三方包一些特殊脚本固定使用 注意点 固定安装目录使用方式https://help.aliyun.com/document_detail/144824.html?spma2c4g.11186623.6.667.43507e023eJc8C
自定义资源组 版本要求 自定义调度资源组企业版及以上需要提工单白名单开放自定义数据集成资源组专业版及以上 解决的场景 网络问题做数据同步需要访问自己IDC的环境因数比如依赖了python高版本、jdk环境等等可以使用一台环境满足的ecs作为自定义资源搬站一些客户本地以及有工作流任务开发在运行了期望可以减少搬站迁移的工作量可以还是将任务直接调度到自己的服务器上减少代码脚本的迁移 注意事项 只能支持数据集成任务和shell任务 操作使用 自定义数据集成资源组参考此处https://help.aliyun.com/document_detail/136934.html?spma2c4g.11186623.6.719.8b745b35mv5nrp 自定义调度资源组 step1提工单申请企业版升级- step2DataWorks控制台打开先创建资源组- step3创建资源组后在点击 服务器管理添加服务器特别特别注意**此步骤最容易出错**- **网络类型只能支持专有网络**- **UUID必须使用UUID方式添加UUID获取方法执行dmidecode | grep UUID取返回值**- **IP机器的内网IP可以登录机器hostname -i接口或得**- step4: 服务添加完毕后回到自定义资源组页面刷新按钮点击 服务器初始化按照初始化流程登录到ECS操作
- step5服务器操作完毕后可以到页面等待10分钟观察服务器状态正常即可 修改任务到自定义资源组流程跟独享一样 调度资源组运维中心修改数据集成编辑开发页面修改需要提交发布
原文链接 本文为云栖社区原创内容未经允许不得转载。
