新入社員ですが上司の飲み会断るのしんどい…

「申し訳ございませんが今日は〇〇に行く用事があるので遠慮しておきます」と言うと
「お前これで俺の誘い断ったの5回中5回だぞ(実は誘われたの4回目で1回は行った)。〇〇なら飲み屋の近くにあるぞ」と言われ
「今日は厳しいので金曜日なら有難いのですが」と言うと
「ダメ。研修状況を上に報告するためお前からヒアリングしないといけないんだ」と言われた

言ってる事全く筋が通ってないけど役職付いてる上司だから口答えできない
結局「今日どうしても無理なので帰らせてください」と言って無事帰れた

このどうしようもない上司どうすればいいのだろうか
精神的に参ってます…