Mysql
 sql >> база данни >  >> RDS >> Mysql

Проблем при конфигуриране на MySql с въздушен поток на apache в Hadoop

Следвайте тези стъпки, за да инсталирате Apache Airflow с MySQL с помощта на Anaconda3

1) Инсталирайте предварителни условия

yum install gcc gcc-c++ -y
yum install libffi-devel mariadb-devel cyrus-sasl-devel -y
dnf install redhat-rpm-config

2) Инсталирайте Anaconda3 (идва с Python 3.7.6)

yum install libXcomposite libXcursor libXi libXtst libXrandr alsa-lib mesa-libEGL libXdamage mesa-libGL libXScrnSaver
wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh
chmod +x Anaconda3-2020.02-Linux-x86_64.sh 
./Anaconda3-2020.02-Linux-x86_64.sh

Уверете се, че сте направили conda initialize когато бъдете подканени по време на инсталацията. Това ще гарантира, че правилната версия на python и pip се използват в следващите стъпки.

3) Инсталирайте Apache Airflow

pip install apache-airflow[mysql,celery]

Можете да добавите други подпакети според нуждите. Включих само тези, необходими за Airflow, за да използва базата данни на MySQL като бекенд.

4) Инициализирайте въздушния поток

export AIRFLOW_HOME=~/airflow
airflow initdb

От тук имитирах стъпките, които сте следвали, за да конфигурирате MySQL сървър

5) Инсталирайте MySQL сървър

rpm -Uvh https://repo.mysql.com/mysql80-community-release-el7-3.noarch.rpm 
sed -i 's/enabled=1/enabled=0/' /etc/yum.repos.d/mysql-community.repo 
yum --enablerepo=mysql80-community install mysql-server 
systemctl start mysqld.service

6) Влезте в MySQL и конфигурирайте база данни за Airflow

mysql> CREATE DATABASE airflow CHARACTER SET utf8 COLLATE utf8_unicode_ci; 
mysql> CREATE user 'airflow'@'localhost' identified by 'Airflow123'; 
mysql> GRANT ALL privileges on *.* to 'airflow'@'localhost'; 

7) Актуализирайте конфигурационния файл на въздушния поток (~/airflow/airflow.cfg)

sql_alchemy_conn = mysql://airflow:[email protected]:3306/airflow
executor = CeleryExecutor

8) Инициализирайте въздушния поток

airflow initdb



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Как да намерите съпоставянията, поддържани от сървъра в MySQL

  2. Грешка на пакети извън реда при извикване на MySQL stored proc

  3. INSERT и SELECT в единична заявка MySQL

  4. Дизайн, който представя чекирането и напускането на служителите

  5. Фатална грешка:Извикване на недефиниран метод mysqli_stmt::get_result()