explorer.exeで開きたいwsl2のターミナルで 

$ explorer.exe .
を実行する．

ちなみに，Ubuntu 20.04は\\wsl$\Ubuntu-20.04\に存在した．