 之databricks使用)
目录一、背景二、实操1.传变量2.传参数一、背景实现目标adf变量及参数传送到databricks使用二、实操1.传变量(1).adf里新建管道新建【设置变量】示例设置管道变量biz_date:{addDays(convertFromUtc(utcNow(), China Standard Time),-1,yyyyMMdd)}biz_date_new:{addDays(convertFromUtc(utcNow(), China Standard Time),-1,yyyy-MM-dd)}2).插入【笔记本】配置服务设置中添加笔记本路径配置基参数biz_datevariables(biz_date)biz_date_new:variables(biz_date_new)databricks【笔记本】-【sql】组件中直接使用变量即可select ${biz_date}; select ${biz_date_new}2.传参数新建参数新建notebook配置服务设置笔记本路径设置基参数biz_datepipeline().parameters.biz_datedatabricks【笔记本】-【python】组件使用参数# 1. 接收来自 ADF 的变量 biz_date dbutils.widgets.get(biz_date) # 2. sql_query f SELECT count(*) as total_count FROM table_name WHERE biz_date {biz_date} # 3. 执行 SQL 并获取结果 # .collect()[0][0] 表示取第一行第一列的值 result_df spark.sql(sql_query) count_value result_df.collect()[0][0] # 4. 返回给 ADF dbutils.notebook.exit(str(count_value))
Azure Data Factory (ADF) 之databricks使用
发布时间：2026/6/6 10:19:04
目录一、背景二、实操1.传变量2.传参数一、背景实现目标adf变量及参数传送到databricks使用二、实操1.传变量(1).adf里新建管道新建【设置变量】示例设置管道变量biz_date:{addDays(convertFromUtc(utcNow(), China Standard Time),-1,yyyyMMdd)}biz_date_new:{addDays(convertFromUtc(utcNow(), China Standard Time),-1,yyyy-MM-dd)}2).插入【笔记本】配置服务设置中添加笔记本路径配置基参数biz_datevariables(biz_date)biz_date_new:variables(biz_date_new)databricks【笔记本】-【sql】组件中直接使用变量即可select ${biz_date}; select ${biz_date_new}2.传参数新建参数新建notebook配置服务设置笔记本路径设置基参数biz_datepipeline().parameters.biz_datedatabricks【笔记本】-【python】组件使用参数# 1. 接收来自 ADF 的变量 biz_date dbutils.widgets.get(biz_date) # 2. sql_query f SELECT count(*) as total_count FROM table_name WHERE biz_date {biz_date} # 3. 执行 SQL 并获取结果 # .collect()[0][0] 表示取第一行第一列的值 result_df spark.sql(sql_query) count_value result_df.collect()[0][0] # 4. 返回给 ADF dbutils.notebook.exit(str(count_value))
