получите отговор за успех/неуспех от mysqli_query

Можете да използвате mysqli_error() за да видите дали е възникнала грешка

if (mysqli_error($runcheck ))
{
   // an error eoccurred
}

Във вашия конкретен пример е по-добре да проверите дали редът съществува преди прави вмъкването. Вашият пример е близо, но би било по-добре да използвате mysqli_num_rows() :

$check = "SELECT * FROM jos_activeagents WHERE AGENTUID = '".$agt."'";
$runcheck = mysqli_query($link,$check);
if (mysqli_num_rows($runcheck) > 0)
{
    // username in use
}