Добре, мисля, че проблемът ви е, че използвате AJAX за изтегляне на файл.
Не е възможно да изтеглите файл с помощта на AJAX (или по-скоро - JS) по нормален начин. Знаеш ли, има твърде голяма дупка за експлойти, за да се позволи това (мисля така) - така или иначе няма такава възможност.
Все пак има заобиколни решения. Един от тях е динамично създаване на скрит iframe на страницата и след това промяна на местоположението му към вашия скрипт за изтегляне. Тогава не използвате JS за изтегляне, а обикновени възможности на браузъра.
Друг начин е описан на тази страница:
http://www.filamentgroup.com/lab/jquery_plugin_for_requesting_ajax_like_file_downloads/
Може би това ще ви помогне.
