Mysql
 sql >> база данни >  >> RDS >> Mysql

Настройка на Kafka Connect за изпращане на запис от Aurora с помощта на AWS MSK

Не. Можете да активирате схеми в json записи. JDBC източник може да ги създаде вместо вас въз основа на информацията в таблицата

value.converter=org.apache.kafka...JsonConverter 
value.converter.schemas.enable=true

Ако искате да използвате Schema Registry, трябва да използвате kafkastore.bootstrap.servers .с адреса на Кафка, а не на Zookeeper. Така че премахнете kafkastore.connection.url

Моля, прочетете документите за обяснения на всички свойства

Няма значение. Темата за схемите се създава, когато системният регистър стартира за първи път

Да (като се игнорира наличното пространство на JVM heap). Отново, това е подробно описано в документацията на Kafka Connect.

Използвайки самостоятелен режим, първо предавате конфигурацията на свързващия работник, след това до N свойства на конектора с една команда

Използвайки разпределения режим, използвате Kafka Connect REST API

https://docs.confluent.io/current/connect/managing/configuring .html

На първо място, това е за Sqlite, а не за Mysql/Postgres. Не е необходимо да използвате файловете за бърз старт, те са там само за справка

Отново всички свойства са добре документирани

https://docs.confluent.io /current/connect/kafka-connect-jdbc/index.html#connect-jdbc

Ето още информация за това как можете да отстраните това

https://www.confluent.io/ blog/kafka-connect-deep-dive-jdbc-source-connector/

Както беше посочено по-горе, аз лично бих препоръчал да използвате Debezium/CDC, където е възможно

Debezium конектор за RDS Aurora



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. MSQL:Как да презапишем запис само ако новият е по-висок? иначе създайте нов запис

  2. Как да използвам ПРИ АКТУАЛИЗИРАНЕ НА ДУБЛИРАН КЛЮЧ в моя модел CodeIgniter?

  3. Как да генерирам произволен интервал от време и да го добавя към mysql datetime с помощта на php?

  4. MySQL JOIN злоупотреба? Колко лошо може да стане?

  5. Laravel 5 използва условие OR с BETWEEN