设为首页
收藏本站
切换到宽版
社区
人才交流
登录
问答
›
查看内容
返回列表
发布新帖
这个24小时定时更新任务数量的取值是怎么来的,我想获取这些任务做抽取数据的分析
64
1
白杨树
Lv.1
发表于 2025-6-23 16:05:06
|
查看全部
阅读模式
这个24小时定时更新任务数量的取值是怎么来的,我想获取这些任务做抽取数据的分析,比如分析抽取数据的排队和运行情况,但是目前不知道取值逻辑是什么。在
builtin_taskStatus
中尝试选择了guanindex等task_type,但是任务数量对不上。辛苦提供下怎么获取完整的每日抽取数据任务,谢谢
快速回复
回复
举报
电梯直达
评论
1
观小哈
Lv.1
发表于 2025-6-24 15:31:49
|
查看全部
这里是按照昨天的数据分析的,不止guanindex更新任务,可以根据task_type分析不同的任务
task_type的枚举值:
值 枚举名 描述
0 CSV 废弃
1 FUSION 数据融合
2 DB 数据集预览、OLAP等
3 WEB 废弃
4 API 测试运行脚本
5 ETL_OUTPUT ETL 输出输出节点任务
6 ETL ETL JobServer 测试任务
7 ETL_COMBINED ETL 聚合任务(包含至少一个ETL_OUTPUT任务)
8 CASSANDRA 任务的默认类型。很复杂,几乎所有的无法分类的任务都属于这个分类。如计算行数任务、计算ETL中SQL节点的Schema任务等等。
9 DATA_INSIGHT 数据探查
10 PARQUET 获取/计算/写Parquet文件任务
11 FILE_IMPORT 数据集文件上传任务
12 FILE_EXPORT 卡片导出、数据集导出等
13 PAGEPDF_IMAGE_EXPORT PDF页面导出任务
14 GUANINDEX GuanIndex数据集更新任务
15 CARD_IMAGE_EXPORT 卡片图片导出任务
16 ETL_PREVIEW ETL 预览任务
17 ETL_PREVIEW_WRAPPER ETL 预览的外观任务
18 CARD_DATA_FROM_CASSANDRA 卡片任务
19 CARD_DATA_FROM_DB 直连卡片任务
20 UPDATE_DIRECT_DATASOURCE 更新直联数据集任务
21 COMBINED_REPORT 复杂报表任务
22 UPDATE_REAL_TIME_DATASOURCE 更新实时数据集任务
23 DATASOURCE_CLEARING 数据集清理任务
24 DATASOURCE_CHANGING_PRIMARYKEYS 数据集主键变更任务
25 DATASET_FETCH 数据集数据获取任务
26 CLICKHOUSE_ACC ClickHouse加速任务
27 UNIVERSE_DATASET Universe数据集更新任务
28 UNIVERSE_EXPORT Universe数据集导出任务
29 SYSTEM_LOG_EXPORT 系统日志导出任务
30 WEB_SERVICE Web Service数据集更新任务
31 ACCOUNT_DS 账户数据集更新任务
32 TMP_PROCEDURE_FETCH 废弃
33 GUANINDEX_WITH_FILE 文件数据集更新任务
34 COMPLEX_REPORT_GENERATE 复杂报表生成任务
35 COMPLEX_REPORT_EXPORT 复杂报表导出任务
36 FILE_EXPORT_COMBINED 卡片导出任务
37 GET_DIRECT_DS_ROWCOUNT 直连数据集获取行数任务
38 SYNC_ACCOUNT 账户同步任务
39 CARD_RESULT_STORE 卡片结果缓存任务
40 SYSTEM_CLEAN 系统清理任务
41 RESOURCE_EXPORT 应用包导出任务
42 TMP_WEB_SERVICE Web Service数据集获取数据任务
43 RESOURCE_IMPORT 应用包导入任务
44 FTP_DATASET FTP数据集更新任务
45 AUGMENTED_ANALYSIS 增强分析任务
46 CARD_PIVOT_SPARK 卡片Pivot任务
47 DATA_EXPLAIN 数据解释任务
48 DATA_EXPLAIN_PRE_WRITING 数据解释写任务
49 DATASET_PREVIEW 数据集预览任务
50 SECOND_DATA_EXPLAIN 二次数据解释任务
51 COMPONENT_IMPORT 废弃
52 SPARK_HIVE Spark Hive数据集任务
53 TASK_USED_FOR_UT UT任务
54 AUGMENTED_ANALYSIS_PRE_WRITING 写增强分析任务
55 AUGMENTED_ANALYSIS_READ 读增强分析任务
56 CARD_GROUP_IMAGE_EXPORT 卡片组图片导出任务
57 CARD_BATCH_EXPORT 卡片批量导出任务
58 ETL_FIELD_NAME_REPLACE ETL列名替换任务
59 CARD_FEEDBACK_STORAGE_CONVERT 卡片数据存储转换任务
60 SPARK_VIEW_DATASET_PREVIEW Spark数据集预览任务
61 ADLS_GEN2_DATASET 预览adlsgen2数据集
62 DATA_WRITE_BACK 数据回写
63 DATA_WRITE_BACK_INSERT 数据回写插入
64 FILE_EXPORT_INNER
65 GET_GUANINDEX_DS_ROWCOUNT 计算GuanIndex数据集行数
66 FETCH_LATEST_PARQUET_FILENAMES 查询最新parquet文件名
67 FILE_EXPORT_WRITE 导出写数
68 COMPLEX_REPORT_PRO_GENERATE 复杂报表pro 生成
69 COMPLEX_REPORT_PRO_EXPORT 复杂报表pro 导出
70 FIELD_DISTINCT_VALUES_FROM_DB 计算直连数据集列distinct值
71 FIELD_DISTINCT_VALUES_FROM_SPARK 计算GuanIndex数据集列distinct值
72 DATASET_EXPORT 数据集导出
73 ANALYSIS 卡片二次计算
74 CACHE_PREHEATING 预刷新任务
75 INTELLIGENT_INSIGHT 智能洞察
76 DATASET_FETCH_DATA 数据集获取数据
77 SUBSCRIPTION 订阅任务
78 ALERT 预警任务
79 UPDATE_DIRECT_DB_DATASOURCE_NEW DB类型直连数据集更新任务
80 FETCH_DATASET_ROW_COUNT 获取数据集行数
81 PREPARE_ACCOUNT_DATASOURCE 建立数据库连接
82 UPDATE_EXTRACT_DB_DATASOURCE_NEW DB类型抽取数据集更新任务
83 PRE_CLEAN 前置数据清理
84 DATA_CLEAN 数据清理
85 HIGH_PERFORM_TRANSFORM 高性能数据集转换
86 FETCH_DATA_TO_AVRO 从数据库获取数据到临时文件
87 POPULATE_AVRO_TO_DELTA 临时文件数据合并到数据集
88 COMPLEX_REPORT_DATA_WRITE 报表填报
89 CARD_DATASET 创建/更新卡片数据集
90 ETL_COLUMN_LINEAGE ETL字段血缘
回复
顶
举报
返回列表
发布新帖
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
白杨树
Lv.1 注册会员
主题
15
回帖
4
积分
171
+ 关注
Ta的主页
微信服务号
联系我们
电话:400-880-0750
邮箱:hello@guandata.com
产品
观远BI
BI Copilot
移动分析
智能ETL
报表分析
多维分析
解决方案
消费品
泛零售
金融
互联网
先进制造
资源与服务
资源下载
直播干货
BI行业资讯
观远学堂
帮助中心
技术支持
伙伴与生态
生态合作伙伴
观远BI合伙人计划
关于我们
公司介绍
荣誉奖项
行业资质
市场活动
Copyright © 2001-2025
观远社区
版权所有
All Rights Reserved.
浙 ICP 备15006424号-3
去回复
去发帖
返回顶部
快速回复
返回顶部
返回列表