Имах подобен проблем. Използвам Spring Boot 1.5.9 и postgres 9.6, data.sql с вмъквания. Кодирането на data.sql беше UTF-8, но след стартиране на приложението, в DB бяха специални символи вместо руски букви.
spring.datasource.sql-script-encoding= UTF-8
Това свойство в application.properties помогна.
Всички свойства, отговорни за DB:
spring.datasource.jndi-name=java:/PostgresDS
spring.jpa.properties.hibernate.default_schema=my_scheme_name
spring.jpa.hibernate.ddl-auto = update
spring.jpa.show-sql = false
spring.jpa.properties.hibernate.dialect = org.hibernate.dialect.PostgreSQLDialect
spring.datasource.continue-on-error=true
spring.datasource.sql-script-encoding= UTF-8
