@mokichi こんばんは。あくまで私の経験則ですが、10人までは人数比例なので、1人当たりの報酬変わらないと思います。
殲滅速度を上げて上の階層まで行くのが大事なので、10人未満まで減らすメリットは全くないです。
人数いた方が楽ですが、どうしても50F行くのが難しい場合は最初から10人や11人に減らして1人当たりの報酬を増やす方法もあります。
ただ階層進めるのが大事なので、人数減らして階層落とすのは本末転倒です。

報酬は10人基準で大体
40Fフルで1人あたり魔法石65個＋現金1.3Mゼニー
45Fフルで1人あたり魔法石85個＋現金1.5Mゼニー
50Fフルで1人あたり魔法石130個＋現金1.7Mゼニー
くらいで、±5%位変動します

ただ、実際には10人で50Fやるのは困難なので12人なら
40Fフルで1人あたり魔法石54個
45Fフルで1人あたり魔法石70個
50Fフルで1人あたり魔法石108個
くらいです。またレバ直といって部屋完全制覇を諦める階を2～3層挟むと、1人あたり3～5個ほど減ります

魔法石の相場見たら分かりますが1回で35M～65Mゼニー位儲かる事になります