Четейки https://hub.docker.com/_/postgres/, разделът „Разширете това изображение“ обяснява, че всеки .sql в /docker-entrypoint-initdb.d ще бъде изпълнен след компилирането.
Просто трябваше да променя моя Dockerfile.db на:
FROM postgres
ADD ./devops/db/dummy_dump.sql /docker-entrypoint-initdb.d
И работи!