Нет, саму программу конечно он убирает, но при этом остаётся ещё ряд компонент, файлов и записей, которые пользователю совсем не нужны и только занимают лишнее место. Как быть? 

Можно, конечно, лазить по системному диску и убирать следы вручную. Долго и нудно…
Видимо разработчиков тоже достала критика по этому поводу и они выпустили специальную утилиту EasyFix, которая позволяет удалить Office 2016, 2013 или Office 365 из системы полностью и окончательно! Скачать её для последних версий пакета можно тут — ссылка.
Если у Вас уже порядком устаревшая версия, типа Office 2003, 2007 или 2010, то утилиту надо скачать отсюда — ссылка.
Программа выполнена в виде мастера:

После запуска она проводит ещё и поиск ошибок, а потому сам процесс, который позволит удалить Офис из системы, может занять определённое время. Так что стоит запастись терпением.

Совет: Несмотря на то, что EasyFix довольно-таки тщательно подтирает следы, всё же настоятельно рекомендую после удаления MS Office пройтись по операционной системе приложением CCleaner, подчистив как следует ещё и реестр.