1) Идем на http://www.gnupg.org/download/ и в разделе Binaries скачиваем последнюю версию для Windows.

Либо делаем еще проще. Идем сразу на ftp://ftp.gnupg.org/gcrypt/binary/ и ищем файл с имнем типа gnupg-w32cli-1.4.5.exe (1.4.5 на данный момент самая свежая версия). Скачиваем.

2) Пункт два лучше сделать на чужой машние. Еще лучше на "общественной".

Запускаем скачанный файл, жмем кнопку "Ok", затем "Next>" каждый раз, пока не появится кнопка "Install" (тоже жмем на нее). В конце жмем "Finsh".

При помощи файлового менеджера копируем все файлы из папки "C:\Program Files\GNU\GnuPG\" в безопасное место (например на криптодиск или флэшку)

Деинсталируем установленный GnuPG (для этого запустите uninst-gnupg.exe)

Удаляем папку "C:\Program Files\GNU\GnuPG\"

Запускаем regedit.exe и удаляем ветку реестра HKEY_LOCAL_MACHINE\Software\GNU\GnuPG

Следов установки GnuPG по идее не осталось.

3) Не запускайте gnu.exe, иначе он создаcт в домашней папке пользователя папку gnupg и пару файлов в ней. Т.е. опять наследит. Потому работать с GnuPG будем при помощи графической оболочки. Хорошим вариантом видится WinPT (http://www.stud.uni-hannover.de/~twoaday/winpt.html), но есть один серьезный недостаток. WinPT использует реестр для хранения настроек, оставляя следы своего пребывания в системе. В ближайшее время постараюсь пересобрать исходники исправив этот недостаток допущенный авторами программы.