Ако множество приложения само се опитват да сравняват данни, тогава вярвам, че те не записват в таблицата, кеширането на записи също трябва да помогне. Също така има техника, наречена шардинг, която за съжаление SQL сървърът не я предоставя. Но има библиотека на codeplex, която предоставя такава функция за SQL Server. Основно се опитва да балансира натоварването на базите данни.
Не съм го тествал, но си струва да опитам. Ако искате, можете да го видите тук http://enzosqlshard.codeplex.com/
