Предполагам, че използвате ODBC тук, защото не сте посочили точно и обикновено се използва...
Не, трябва да използвате нова връзка всеки път, това е стандартната практика, която Microsoft препоръчва. Ако използвате ODBC и т.н., Windows управлява тези връзки, като ги кешира за повторна употреба и улеснява управлението на живота на нещата.
Ако използвате статична връзка, може да я изхвърлите преждевременно или да сте я затворили, без да знаете. Като цяло това е просто малко по-неудобно и преждевременна оптимизация.
Вижте OdbcConnection за повече информация.