Външен кошер метахранилище за EMR

Можете да замените конфигурациите по подразбиране за приложения, като предоставите конфигурационен обект за приложения, когато създавате клъстер. Конфигурационният обект се посочва като JSON файл. Конфигурационните обекти се състоят от класификация, свойства и незадължителни вложени конфигурации. Свойствата са настройките, които искате да промените в този файл. Можете да посочите множество класификации за множество приложения в един JSON обект.

За да замените hive-site.xml с вашата външна информация за mysql metastore, създайте конфигурационен файл, наречен hiveConfiguration.json, съдържащ редакции на hive-site.xml:

[
    {
      "Classification": "hive-site",
      "Properties": {
        "javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
        "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
        "javax.jdo.option.ConnectionUserName": "username",
        "javax.jdo.option.ConnectionPassword": "password"
      }
    }
]

Използвайте hiveConfiguration.json със следната AWS CLI команда, за да създадете клъстера:

aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles

Справка:

https://docs.aws.amazon .com/emr/latest/ReleaseGuide/emr-hive-metastore-external.html