A,B,C,X,Y,Oが同一直線上にないとしても確率は変わらないので, そう仮定する. また, 三角形 DEF の符号付面積を S(DEF) と表記する.
ある 5 つの点に A,B,C,X,Y を一回ずつ割り当てる方法は 120 通りあるが, そのうち問題の条件を満たすように割り当てる方法は, 5 点の凸包が 5,4 角形の時 40 通り, 3 角形の時 24 通りであることが確認できる. よって, 円 ω の内部にランダムに点を 5 つ独立に取った時にその凸包が 3 角形である確率が s であるとすると, 求める確率 p は 12040(1−s)+12024s=31−152s であることが分かる. また s=(円ωの内部にランダムに点を3つ(P,Q,Rとおく)を取った後さらに2点とった時に, その2点が最初に取った3点を頂点とした三角形の領域内にある確率)×5C3=10S(PQR)2 なので, S(PQR)2の平均を計算すればよい.
P,Q を O で点対称移動をした点をそれぞれ P’,Q’ とする. S(QOP)=a,S(ROQ)=b,S(POR)=c とすると, S(PQR),S(P’QR),S(PQ’R),S(P’Q’R) はそれぞれ a+b+c,−a+b−c,−a−b+c,−a+b+c なので, S(PQR)2+S(P’QR)2+S(PQ’R)2+S(P’Q’R)2=(a+b+c)2+(−a+b−c)2+(−a−b+c)2+(−a+b+c)2 =4(a2+b2+c2)
よって, S(PQR)2の平均=3S(QOP)2の平均
であることが分かる.
3(QOP)2の平均=43(OP2の平均)(OQ2の平均)(2π∫02πsin2θdθ)=432π12π12ππ=32π23
したがって, p=31−152s=31−15232π230=31−8π21
求める値は3206681.