Я удалил почтовый ящик в коннекторе, после перезапуска Exchange System Manager я вижу ящик снова в списке.

Конфигурация коннектора хранится в AD. Такая ситуация возникает когда у Вас нет прав на удаление объектов из AD. Вы можете проверить права с помощью утилиты ADSI Edit tool из Windows Server Support Tools.

Так же Вы можете удалить эти почтовые ящики используя ADSI edit.

• Нажмите кнопку Start, 'run...' и запустите 'mmc';
• 'File'-> 'Add/Remove Snap in' -> 'Add...' добавьте 'ADSI Edit'.
• Нажмите 'Close', нажмите 'Ok;
• нажмите правую кнопку мыши на ADSI Edit и выберите 'Connect to'
• под 'Select a well known Naming Context:' выберите 'Configuration'.
• Нажмите кнопку 'Ok';
• Откройте Configuration ->Services -> Microsoft Exchange -> <Имя Вашей организации > ->Administrative Groups -> First Administrative Group -> Routing Groups -> First Routing Group ->Native POP3 Connector
• там вы увидите объекты CN=1, CN=2 и т.д. Это почтовые ящики NPC. Откройте их свойства. Имя ящика указано в ‘adminDisplayName’ атрибуте.
• найдите почтовые ящики, которые нужно удалить и удалите эти CN=...