公式解説より計算は重いですが, 思いつきやすいと思います. (おそらく)
AD と FE の交点を P , BA と FE の交点を Q とする. AE=xy,EC=x(1−y) とおく. このとき, AB=x である. また, AD∥BC より AE:EC=PE:EF=DE:EB であり, 以下がわかる.
EB=DE×AEEC=y8−8y,PE=EF×ECAE=1−y3y
また, △BAE∼△BEQ より以下がわかる.
BQ=BE×BABE=xy2(8−8y)2,EQ=AE×BABE=8−8y
AD∥BC より, QB:QF=AB:PF , 余弦定理より AB2+AB×AE+AE2=EB2 である.
⎩⎪⎪⎪⎨⎪⎪⎪⎧xy2(8−8y)2×1−y3=(11−8y)×xx2+x2y+x2y2=y2(8−8y)2
この連立方程式を 0<y<1 に注意して解くことで, (x,y)=(132039,52) がわかる.
実際に解くときは
x2=y2(11−8y)(1−y)3(8−8y)2=y2(1+y+y2)(8−8y)2
と変形して y の二次方程式を解くとよいだろう.