Файл может появляться более чем в одном месте (с жесткими ссылками). При удалении файла удаляется одна из жестких ссылок (возможно, единственная). Если есть ссылка где-то еще, файл все еще доступен.
Файлы, которые были удалены, но открыты, продолжают занимать дисковое пространство, и, если они достаточно велики, это может означать, что используемое вами пространство и размер всех файлов, которые вы можете найти на вашем диске, отличаются.
Кстати: вы можете читать / записывать содержимое открытого файла (удаленного или нет), если вы посмотрите в /proc/{pid}/fd/{fid}