英語で『手放しで喜ぶ』を表現するなら、『be overjoyed』がぴったりくるでしょう。この表現は、抑えきれないほどの喜びを表すときに使われます。
例えば、長年待ち望んでいたコンサートのチケットが手に入ったとき、『I was overjoyed when I got the tickets!』と言えば、飛び上がるほどの喜びを伝えられます。『overjoyed』には『通常の喜びを超えた』というニュアンスが含まれていて、日本語の『手放しで』に近い感覚です。
他にも『thrilled to bits』というイギリス英語の表現もあって、こちらは小さな破片になるほど興奮している様子を表す、ちょっと可愛らしい言い回しです。