Най-простият начин да го направите, ако не сте обвързани с определена рамка, е с файл със свойства. Разгледайте последната част от приетия отговор за този въпрос (не XML битът за вашия случай).
В зависимост от това дали използвате сервлет контейнер или подобен (напр. Tomcat, Glassfish и т.н.), може също така да обмислите използването на настройките за свързване на този контейнер и групирането на връзки, което може да е по-лесно от повторното използване на вашите собствени връзки.
Но ако просто се опитвате да навлезете в Java и това е за вас, за да научите за JDBC, запазете го просто първоначално и просто прочетете свойствата си от файл db.properties на вашия classpath.