Успях да се свържа с:
tunnel = sshtunnel.SSHTunnelForwarder((ssh_host, 22), ssh_password=ssh_password, ssh_username=ssh_username,
remote_bind_address=('localhost', 3306))
tunnel.start()
Очевидно разликата беше да се запази тунелът отворен, вместо да се използва изразът „с“, въпреки че не разбирам какво всъщност се е случило и ще оценя обяснение.