Трябва да предадете променлива във връзката за изтриване. Трябва да предадете <?php echo $contact['name']; ?>
име стойност в скрито поле или предайте тази стойност в URL
Замяна
<td class="contact-delete">
<form action='delete.php' method="post">
<input type="hidden" name="name" value="">
<input type="submit" name="submit" value="Delete">
</form>
</td>
С
<td class="contact-delete">
<form action='delete.php?name="<?php echo $contact['name']; ?>"' method="post">
<input type="hidden" name="name" value="<?php echo $contact['name']; ?>">
<input type="submit" name="submit" value="Delete">
</form>
</td>