Прочетете тези серии от публикации от Wepay, където те описват подробно как синхронизират своите MySQL бази данни с BigQuery, използвайки Airflow:
- https://wecode.wepay.com/posts/ wepays-data-warehouse-bigquery-airflow
- https://wecode.wepay.com/posts/airflow-wepay
- (третото е за BigQuery)
Като обобщение (цитиране):
- Настройте удостоверяване, връзки, DAG.
- Определете кои колони да изтеглите от MySQL и да ги заредите в BigQuery.
- Изберете как да заредите данните:постепенно или изцяло.
- Отстраняване на дублирането.
