コンテスト中で用いた解法を整理したものです.

△BCE の外心を P とすると,∠CBE=30∘ より,∠CPE=60∘ となり △CEP は正三角形で,以下が分かる:
∠DCP=30∘,∠PBC=∠PCB=18∘,∠BPC=144∘.
また E と P は CD に対して対称な位置にあるから,DE=DP で
∠DPE=∠DEP=48∘,∠PDE=84∘.
△DPE≡△QBP となるように Q をとると,∠DPQ=60∘ より △DPQ は正三角形で,以下が分かる:
∠BQD=144∘,∠QBD=∠QDB=18∘,∠ADE=54∘=∠DAE.
これより AE=DE となって
BQ=DQ=DP=DE=AE=5
より
BD2=(2×5cos18∘)2=50(1+cos36∘)=50(1+41+5)=2125+255.
したがって求める値は 3252.
【補足】一般に整角四角形の問題は「外心 3 つ法」により単純化できる.すなわち,△BCE の外心を P,△CDE の外心を P′,△CPP′ の外心を P′′ とし,△BQP と △CP′E,△DRP′ と △CPE がそれぞれ相似になるように Q,R を定める.このとき,各線分の長さの等しい折れ線 BQPP′′P′RD を考えると,各線分の CE に対する偏角は既知であるから,BD の CE に対する偏角を知ることができる.
今回は
BQPP′′P′RD⟶①BQPP′′P′D⟶②BQPD⟶③BQD
として得られる.ただし ① は △DP′R が正三角形であること,② は四角形 DPP′′P′ が平行四辺形であること,③ は △DPQ が正三角形であることを利用して変形した.