乾杯の前にはずしておくそうです。会場の係りの方がタイミングを見計らって、はずしてくれて乾杯のあいさつ中は持っていてくれます。着席したら、渡してくれると思うので、そうしたら手袋は膝の上に置いておくそうです。(決して、テーブルの上には置かないように)お色直しなど間に挟む場合は、はずしたその後は必要ないので、係りの方が持っていってくれると思います。和装の場合も同様で、扇子を持ちますが、食事中は帯の間に挟んでおくそうです。やはり食事中も手袋をはめて・・・というのは疑問ですよね。
披露宴にご招待された方にも結婚指輪をお披露目されたいでしょうし、入場時のみ手袋着用が一般的です。
要は抹茶ケーキです。部屋に入ったら帽子を脱ぐのと同じです。