Можете да се отървете от тях, като кодирате изрично, така че да можете да използвате errors="replace"
или ignore
Получените байтове няма да са красиви, но ще бъдат регистрирани.
logging.error("Exception: " + str(ex.args[1].encode(encoding='charmap', errors='replace')))