明道云HAP数据同步设置教程
明道云HAP是一款帮企业搭建业务系统的低代码平台,就像一个能快速组装家具的工具箱,不用复杂编程也能搭起自己的管理系统,数据同步在这个平台里就像让不同房间的信息互相串门,比如销售部的客户数据要告诉财务部,库存数据要实时同步给采购部,顺畅的同步能让数据不再“各自为战”,变成一个协作无间的整体,不少朋友刚开始接触时,总会被数据源怎么连、同步规则怎么设这些问题难住,要么是数据“堵在半路”,要么是同步过去的数据“缺斤少两”,这篇教程就带着大家一步步走,从登录平台到任务跑起来,每个环节都讲透,保证你看完就能上手,让数据像小区里的快递员一样,准时准确送到该去的地方,再也不用天天手动复制粘贴,把时间省下来做更重要的事。
登录明道云HAP平台
要开始设置数据同步,第一步得先走进明道云HAP的“大门”,打开常用的浏览器,在地址栏里输入你们公司的明道云HAP平台网址,就像输入家门钥匙的密码,网址通常是公司自定义的,公司名称.mingdao.com”,如果记不清可以问问IT同事或者在企业群里找找,敲下回车键,页面会跳转到登录界面,上面一般有公司logo和登录框,账号通常是你的企业邮箱或者工号,密码是第一次登录时设置的,要是忘了点“忘记密码”,按提示走就能找回。
输入账号密码后,有些公司会开启二次验证,比如手机验证码或者企业微信扫码,这就像进小区大门后还要刷单元门卡,多一道安全保障,验证通过后,页面会加载几秒,然后跳转到平台首页,首页布局一般很清晰,顶部是搜索栏和通知,左侧是导航菜单,中间是常用应用卡片,咱们要找的“数据同步”功能,通常藏在“应用中心”或者“数据管理”这类菜单里,找不到也别慌,在顶部搜索栏输入“数据”两个字,相关功能就会像捉迷藏的小朋友一样冒出来,登录成功后,记得看看右上角的头像旁边有没有“管理员”标识,数据同步设置可能需要管理员权限,没有的话得先找负责人开通,不然按钮可能是灰色的点不了。
进入数据同步功能模块
登录平台后,咱们得找到数据同步的“工作室”,在左侧导航栏慢慢找,常见的菜单名称有“数据集成”“数据同步”“跨应用数据”,不同公司可能起的名字不一样,但核心都是“数据”和“同步”这两个词,比如我之前帮朋友设置时,他们公司叫“数据连接器”,点进去才发现里面就是同步任务管理界面,如果导航栏项目太多,可以把鼠标悬停在每个菜单上,会弹出简短描述,看到“管理不同数据源之间的数据流转”之类的说明,那基本就是它了。
点击进入后,会看到一个类似任务列表的界面,顶部通常有“新建同步任务”“导入任务模板”“任务监控”三个按钮,下面是已有的同步任务表格,表格里会显示任务名称、状态、最近同步时间、同步方向这些信息,状态列里的小图标很直观,绿色对勾表示正常运行,黄色感叹号是警告,红色叉号就是失败了,一目了然,如果你是第一次用,表格可能空空如也,像一张干净的画布等着咱们创作,右上角一般有刷新按钮,点一下可以更新任务状态,有时候刚操作完数据没实时显示,刷新一下就出来了。
在这个界面停留几秒,熟悉一下布局,左侧可能还有子菜单,任务管理”“数据源管理”“同步日志”,“任务管理”就是咱们现在看的任务列表,“数据源管理”是保存常用的数据库、Excel文件这些连接信息的地方,“同步日志”则记录了所有任务的历史运行情况,先不用急着点这些子菜单,咱们先从“新建同步任务”开始,这个按钮通常是蓝色的,在页面最显眼的位置,像商店门口的“开业大吉”招牌,想不注意都难。
新建数据同步任务
找到“新建同步任务”按钮后,大胆点下去,就像打开一个新的笔记本准备写日记,页面会跳转到任务基本信息填写界面,第一个要填的是“任务名称”,这个名字得起得明白点,销售订单数据同步到财务应收款表”,别人一看就知道这个任务是干嘛的,以后维护起来也方便,别起“数据同步1号”这种模糊的名字,过半个月你自己都忘了这是同步啥的。
任务名称下面是“同步类型”,一般有“实时同步”和“定时同步”两种,实时同步就像快递的“当日达”,源数据一有变化,目标数据马上跟着变,适合对数据及时性要求高的场景,比如库存预警,卖出去一件商品库存就得立刻减一,定时同步则像“隔日达”,按设定的时间点执行,比如每天凌晨2点同步前一天的销售数据,适合数据量大、不着急实时更新的情况,选的时候根据实际需求来,我之前帮一家服装店设置时,他们的库存用实时同步,销售报表用每天凌晨定时同步,既保证了库存准确,又不会在白天高峰期占用系统资源。
再往下是“任务描述”,这里简单写几句任务的目的和范围,同步销售系统中已付款的订单数据至财务系统,用于生成应收款记录”,相当于给任务写个小备注,以后谁接手这个任务,一看描述就知道来龙去脉,有些平台还会让选“同步方向”,是“单向同步”还是“双向同步”,单向就是A同步到B,B的数据变化不影响A;双向则是A和B的数据互相同步,这个要特别小心,弄不好会造成数据混乱,除非确定需要双向更新,否则默认选单向更安全。
填完这些信息,点击页面底部的“下一步”按钮,有些平台是“保存并进入配置”,按钮文字可能不同但意思一样,点击后页面会跳转到任务配置的主界面,刚才填的基本信息会显示在顶部的卡片里,下面就是数据源、目标数据、同步规则这些核心配置项了,这时候再回头看任务列表,会发现多了一条状态为“待配置”的任务记录,就像种下了一颗种子,接下来要给它浇水施肥让它成长。
配置数据源信息
数据源就是数据的“老家”,咱们得先告诉系统数据从哪里来,在任务配置界面,找到“数据源配置”区域,通常有个“添加数据源”按钮,点击后会弹出一个选择框,里面列出各种数据源类型,关系型数据库”(MySQL、SQL Server、Oracle)、“文件数据源”(Excel、CSV)、“API接口”(REST API、JSON接口)、“明道云应用数据”(如果是平台内不同应用之间同步),选的时候要根据实际情况,比如数据存在公司的MySQL数据库里,就选“MySQL”;如果是同事给的Excel表格,就选“Excel文件”。
以MySQL为例,选好类型后,会出现详细的连接配置项,第一个是“数据库地址”,也就是数据库所在的服务器IP或域名,192.168.1.100”或者“db.company.com”,这个地址不能错,错了就像寄信写错邮编,数据根本找不到家,然后是“端口号”,MySQL默认是3306,SQL Server是1433,不知道的话问数据库管理员,别自己瞎猜,猜对的概率比中彩票还低,接下来是“数据库名称”,要同步的表在哪个数据库里,就填哪个库的名字,sales_db”。
账号密码是登录数据库的钥匙,用户名通常是“root”(管理员账号)或者数据库管理员单独创建的同步账号,密码要区分大小写,输的时候慢一点,输完可以点“显示密码”按钮核对一下,免得因为字母大小写或者数字输错导致连接失败,有些平台还会让填“驱动版本”,比如MySQL的驱动有5.1和8.0版本,选和数据库版本匹配的,不匹配可能会出现“驱动不兼容”的错误提示。
填完这些基础信息,下面可能有“高级配置”,连接超时时间”“字符集”“是否使用SSL加密”,连接超时时间一般默认30秒,网络不好的话可以设长一点,比如60秒;字符集选“UTF-8”基本不会错,能支持中文显示;SSL加密是数据传输时的安全保障,公司有要求的话就勾选,没有就默认不选,所有信息填完后,一定要点“测试连接”按钮,这个按钮就像体检中心的“初步检查”,能帮咱们提前发现问题。
点击测试连接后,系统会尝试连接数据库,几秒钟后页面会弹出提示,如果显示“连接成功”,那就可以松口气了,数据源这关过了;如果显示“连接失败”,别慌,看失败原因提示,常见的有“地址或端口错误”“账号密码错误”“数据库服务未启动”“防火墙拦截”,比如提示“无法连接到192.168.1.100:3306”,先ping一下这个IP看网络通不通,再检查端口是不是被防火墙挡住了;提示“用户名或密码错误”,就重新核对账号密码,注意有没有空格,我之前遇到过一个情况,密码里有个“@”符号,输的时候不小心写成了“2”,怎么试都失败,后来盯着键盘一个一个字母核对才发现问题,测试成功后,点击“保存数据源”,这个数据源就会被记录下来,下次新建任务时可以直接复用,不用再填一遍信息。
配置目标数据信息
数据源是“老家”,目标数据就是数据的“新家”,得给数据找个舒服的“住所”,配置目标数据的步骤和数据源很像,在任务配置界面找到“目标数据配置”区域,同样有“添加目标数据”按钮,点击后选择目标数据的类型,目标类型可能和数据源一样,比如都是MySQL数据库,也可能不一样,比如数据源是Excel文件,目标是明道云的表单应用,不管哪种类型,配置逻辑大同小异,核心都是告诉系统数据要存到哪里去。
如果目标是数据库,填的信息和数据源类似:数据库地址、端口、数据库名称、账号密码、驱动版本,这里要注意,目标数据库的账号需要有“写入权限”,光是能连接还不够,得能增删改数据,不然同步过去的数据存不进去,有些公司的数据库权限管理很严,同步账号可能只有“读”权限,这时候就得找数据库管理员开通“写”权限,不然到时候同步任务会卡在“无权限写入数据”这一步。
如果目标是明道云的表单应用,操作会更简单,选择“明道云应用数据”后,系统会列出你有权限访问的所有表单,直接从下拉框里选目标表单就行,财务应收款表”,选好表单后,系统会自动加载该表单的所有字段,订单编号”“客户名称”“金额”“同步时间”,这些字段就是数据要“住”的房间,等下配置字段映射时会用到,有些表单有“关联字段”或“子表”,同步的时候要注意主表和子表的关系,别把数据填错地方。
目标数据也有“测试连接”按钮,虽然目标是写入数据,但测试连接能确认系统是否有权限访问目标位置,比如目标是Excel文件,测试连接会检查文件路径是否正确、是否被其他程序占用;目标是数据库,会检查账号是否有写入权限,测试成功后,同样点击“保存目标数据”,这时候在任务配置界面,数据源和目标数据的卡片都会显示“已配置”状态,就像给数据的“老家”和“新家”都办好了手续,接下来要规划数据怎么从老家搬到新家。
这里有个小细节要注意:数据源和目标数据的“数据格式”要尽量匹配,比如数据源里“订单金额”是数字类型,目标字段也得是数字类型,不能是文本类型,不然同步的时候会出现“数据类型不匹配”的错误,如果类型不一样,要么在数据源那边转换格式,要么在目标数据里修改字段类型,或者在后面的同步规则里设置格式转换,我之前帮一家公司同步数据时,数据源的“日期”字段是“2023/12/01”这种格式,目标字段是“2023-12-01”,虽然都是日期,但符号不一样,同步时一直报错,后来在同步规则里加了个日期格式转换才解决。
设置数据同步规则
数据源和目标都配置好了,现在要给数据“规划路线”,这就是同步规则的作用,在任务配置界面找到“同步规则配置”区域,这里是整个设置过程的“大脑”,决定了哪些数据要同步、怎么同步、同步时遇到冲突怎么办,首先是“选择同步对象”,如果数据源是数据库,这里要选具体的表或视图,sales_orders”表;如果是Excel,就选工作表名称,Sheet1”,选好对象后,系统会加载该对象的所有字段,数据源字段在左边,目标字段在右边,中间用线连起来,就像给数据搭了一座“桥”。
接下来是“字段映射”,这是规则配置的核心,得告诉系统数据源的哪个字段对应目标的哪个字段,比如数据源的“order_id”对应目标的“订单编号”,“customer_name”对应“客户名称”,“total_amount”对应“金额”,系统通常会自动匹配名称相似的字段,比如两边都有“订单编号”,会自动连线,但不能全靠系统,得手动核对一遍,特别是名称类似但意思不同的字段,比如数据源的“create_time”(创建时间)和目标的“update_time”(更新时间),自动匹配可能会连错,手动改过来才行。
有些字段数据源里有但目标没有,或者目标有但数据源没有,这时候怎么办?数据源多出来的字段可以不管,同步时会自动忽略;目标多出来的字段,如果是必填项,就得设置“默认值”,比如目标的“同步来源”字段,数据源里没有,可以设默认值为“销售系统”,这样同步过去的数据都会自动填上这个值,如果目标字段不是必填项,也可以留空,同步时该字段就显示空值,字段映射完成后,记得点击“保存映射关系”,不然一不小心刷新页面,之前连的线就全没了,又得重新连一遍。
字段映射下面是“过滤条件”,就是告诉系统“哪些数据需要同步”,不是所有数据都要同步,比如销售订单表有“已付款”和“未付款”两种状态,咱们可能只需要同步“已付款”的订单,这时候就可以设置过滤条件:“payment_status = '已付款'”,条件设置的界面像个简易的筛选器,左边选字段,中间选运算符(等于、不等于、大于、小于、包含等),右边填值,可以设置多个条件,用““或者”连接,payment_status = '已付款' order_date >= '2023-01-01'”,意思是只同步2023年1月1日后已付款的订单。
过滤条件下面是“同步方式”,分“全量同步”和“增量同步”,全量同步就是把数据源里符合过滤条件的所有数据都同步到目标,不管之前有没有同步过,适合第一次同步或者需要覆盖目标数据的场景;增量同步则是只同步上次同步后新增或修改的数据,能大大减少同步的数据量,提高效率,增量同步需要设置“增量标识字段”,通常是“更新时间”或“自增ID”,比如用“update_time”作为标识,系统会记住上次同步的最大时间,下次只同步update_time大于这个时间的数据,选增量同步时,一定要确保增量标识字段是准确的,不然可能会漏同步数据。
“冲突处理规则”,当目标数据中已经存在相同主键的记录时,系统该怎么办,常见的规则有“覆盖目标数据”“保留目标数据”“抛出异常”“更新目标数据非空字段”,比如目标表中已经有订单编号为“SO2023001”的记录,数据源又同步来一条相同编号的记录,选“覆盖”就是用新数据替换旧数据;选“保留”就是不管新数据,维持旧数据不变;选“抛出异常”就是同步失败,提示“主键冲突”;选“更新非空字段”就是只更新新数据中非空的字段,空字段不更新,根据业务需求选,财务数据通常选“覆盖”,确保数据最新;历史档案数据可能选“保留”,避免误删旧记录,所有规则设置好后,点击“保存同步规则”,这时候规则配置就完成了,数据的“路线图”正式画好。
配置同步触发方式
同步规则定好了,现在要给数据“定个出发时间”,也就是触发方式,在任务配置界面找到“触发方式配置”区域,这里决定了同步任务什么时候执行,之前在新建任务时选过“实时同步”或“定时同步”,这里要做更详细的设置,如果是实时同步,触发方式一般是“事件触发

欢迎 你 发表评论: