Create data lineage from Trino/Hive queries in digdag log with Python
What’s data lineage? Data lineage is something to describe “Where this data comes from and where it goes?” I learned this term in my previous job. They provided “Cloudera Navigator” which includes data lineage from execution logs of Hive/Spark etc.
2022-05-05
sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた
データリネージとは、DBなどでどのデータがどこから来てどこに行った、という「来歴」とも呼ばれる情報です。
2022-05-05
cookiecutter-digdag
A template generates digdag workflows for SQL and Python
2019-12-01
tdworkflow
Unofficial Treasure Workflow Client
2019-12-01