Два проблема :
- разстоянието между -p и паролата
- пространството вътре в пътя към изпълнимия файл
Предпочитайте това :
runtime.exec(new String[]{"C:\\Program Files\\MySql\\MySql Server 5.5\\bin\\mysqldump", "-u", "root", "-pmyDatabase" "> D:\\backup.sql"});
Имайте предвид, че ако имате проблем с runtime.exec, трябва да погледнете потоците, които можете да получите от върнатия Процес . Непреглеждането на тези потоци в случай на грешка е малко като да не гледате изключението, когато е изхвърлено.