Правил съм подобни миграции и мисля, че сте на прав път.
Просто вземете mysqldump на вашата DB и го съхранете във файл, напр.:
mysqldump -h [host] -u [user] -p[password] [dbname] > dumpfilename.sql
Абсолютно. Можете да се свържете с MySQL RDS екземпляр точно както бихте се свържете с всеки друг екземпляр на MySQL. Името на хост се нарича "крайна точка" в конзолата за управление на AWS.
След като сте създали RDS екземпляр и сте настроили групата за сигурност, сте готови да заредите дъмпа:
mysql -h [endpoint] -u [user] -p[password] [dbname] < dumpfilename.sql