Разбирате какъв всъщност е форматът за CSV файл, нали? Че низовете са предназначени да бъдат опаковани в кавички, ако съдържат не-алфа знаци? И функцията fputcsv() на PHP прави това, точно както трябва
Въпреки че можете да зададете аргумента за заграждане за fputcsv() за да му каже какъв знак трябва да се използва за кавички/ограждания.
напр.
fputcsv($fp, $row, ",", "'");
За да използвате единични кавички вместо двойни кавички или
fputcsv($fp, $row, ",", " ");
за използване на интервал