Команда для удаление всех rubygems

gem list | cut -d» » -f1 | xargs sudo gem uninstall –all (github’s gist)

Первоисточник: Painless Cleanup of Ruby Gems With Similar Names. А если возникли какие-то проблемы с удалением, то вам наверняка сюда.