Това е известен проблем. Използването на SMO срещу .Net 4.0 не е одобрено или обявено от Microsoft.
Има неподдържана опция за работа (добавете това към вашия app.config):
<?xml version="1.0" encoding="utf-8" ?>
<configuration>
<startup useLegacyV2RuntimeActivationPolicy="true">
<supportedRuntime version="v4.0"/>
</startup>
</configuration>