Няма опция за това в MariaDB и MySQL. Сблъсках се със същия проблем като вас преди няколко месеца, търсих много и накрая частично го разреших, като създадох специална зона за съхранение на NAS за временни набори от данни.
Създайте папка на вашия NAS или дял на вътрешен твърд диск, той по дефиниция ще бъде ограничен по размер, след това го монтирайте и в mysql ini задайте временното съхранение на това устройство:(изберете или windows/linux)
tmpdir="mnt/DBtmp/"
tmpdir="T:\"
mysql услугата трябва да се рестартира след тази промяна.
С този подход, след като устройството е пълно, все още имате „странни проблеми“ със заявките на диска, но другите проблеми са изчезнали.