При удалении ссылки просто разрывается связь между именем переменной и содержимым переменной. Содержимое переменной не уничтожается. Например:
<?php
$a = 1;
$b =& $a;
unset($a);
?>
Опять же, было бы полезно рассматривать это как аналог вызова функции unlink в системе Unix.