Грешка при импортиране на файл от 5 гигабайта в таблицата

Бих валидирал редовете, причиняващи грешки чрез външен скрипт - да кажем някакъв бърз powershell. Например

$data = @(Import-Csv .\partialFile.csv )
$row = $data[0]

# how many columns do we have?
$row | gm -membertype NoteProperty | Measure-Object 

# columns larger than 80 chars
$row | gm -membertype NoteProperty | ? { ($row."$($_.Name)").Length -gt 80 }