Мисля, че това трябва да работи
SELECT hex(CAST("Ali" AS VARBINARY)) AS Expr1
за обратно
select CONVERT(varbinary(max), "416C69");
Това ще преобразува във varbinary, след което можете да конвертирате varbinary във varchar
Преобразуване на низ в HEX в SQL
http://blogs.msdn.com/b/sqltips/archive/2008/07/02/converting-from-hex-string-to-varbinary-and-vice-versa.aspx