Cho hình vuông \(ABCD\) có tâm \(O\)(\(O\) là giao điểm của hai đường chéo), cạnh hình vuông bằng \(2a\), gọi \(I\) là trung điểm đoạn \(OB\), \(M\)là một điểm bất kì trong mặt phẳng. Khi đó:

Tam giác \(ABC\) vuông tại A, có \(AB = \frac{{AC}}{{\tan B}} = \frac{{2,5}}{{\tan 60^\circ }} = \frac{{5\sqrt 3 }}{6}\).

Suy ra \(BC = \sqrt {A{B^2} + A{C^2}} = \sqrt {{{\left( {\frac{{5\sqrt 3 }}{6}} \right)}^2} + 2,{5^2}} = \frac{{5\sqrt 3 }}{3}\).

Ta có \(P = \overrightarrow {AM} \cdot \overrightarrow {BM} = \frac{1}{2}\left( {\overrightarrow {AB} + \overrightarrow {AC} } \right) \cdot \frac{1}{2}\overrightarrow {BC} = \frac{1}{4}\left( {\overrightarrow {AB} \cdot \overrightarrow {BC} + \overrightarrow {AC} \cdot \overrightarrow {BC} } \right)\)

\[ = \frac{1}{4}\left( { - \left| {\overrightarrow {BA} } \right|\left| {\overrightarrow {BC} } \right|\cos B + \left| {\overrightarrow {AC} } \right| \cdot \left| {\overrightarrow {BC} } \right| \cdot \cos C} \right)\]\[ = \frac{1}{4}\left( { - \frac{{5\sqrt 3 }}{6} \cdot \frac{{5\sqrt 3 }}{3} \cdot \cos 60^\circ + 2,5 \cdot \frac{{5\sqrt 3 }}{3} \cdot \cos 30^\circ } \right) = \frac{{25}}{{24}} \approx 1,04\].

Ta có \(\frac{{AB}}{{\sin C}} = \frac{{AC}}{{\sin B}} \Rightarrow AC = \frac{{AB\sin B}}{{\sin C}} = \frac{{5 \cdot \sin 30^\circ }}{{\sin 45^\circ }} = \frac{{5\sqrt 2 }}{2}\). Chọn A.