ディレクトリを残さない(ディスク上からも削除する) 

$ git rm -r [dir_name]
ディレクトリを残す 
$ git rm -r --cached [dir_name]