Cho hình lăng trụ \(ABC.A'B'C'\)có đáy \(ABC\) là tam giác vuông tại \(A\), \(AB = a\),\(AC = a\sqrt 3 \). Hình chiếu vuông góc của \(A'\) lên mặt phẳng \(\left( {ABC} \right)\) là trung điểm \(H\) của \(BC\), \(A'H = a\sqrt 5 \). Gọi \(\varphi \) là góc giữa hai đường thẳng \(A'B\) và \(B'C\). Tính \(\cos \varphi \).

Coi \(a = 1\).

Gắn hệ trục tọa độ \(Oxyz\)như hình vẽ với \(O\left( {0;\,0;\,0} \right)\), \(A\left( {0;\,\frac{1}{2};\,0} \right)\), \(B\left( {\frac{{\sqrt 3 }}{2};\,0;\,0} \right)\), \(C\left( { - \frac{{\sqrt 3 }}{2};\,0;\,0} \right)\), \(B'\left( {\frac{{\sqrt 3 }}{2};\,0;\,1} \right)\), \(M\left( { - \frac{{\sqrt 3 }}{2};\,0;\,\frac{3}{2}} \right)\).

Khi đó \(\left( {ABC} \right) \equiv \left( {Oxy} \right):z = 0 \Rightarrow \left( {ABC} \right)\) có một véc-tơ pháp tuyến là \(\overrightarrow k  = \left( {0;\,0;\,1} \right)\).

Ta có: \(\overrightarrow {AB'}  = \left( {\frac{{\sqrt 3 }}{2};\, - \frac{1}{2};\,1} \right)\), \(\overrightarrow {AM}  = \left( { - \frac{{\sqrt 3 }}{2};\, - \frac{1}{2};\,\frac{3}{2}} \right)\)\( \Rightarrow \overrightarrow {{n_{\left( {AB'M} \right)}}}  = 4\left[ {\overrightarrow {AB'} ,\overrightarrow {AM} } \right] = \left( {1;\,5\sqrt 3 ;\,2\sqrt 3 } \right)\).

Gọi \(\alpha \) là góc giữa hai mặt phẳng \(\left( {ABC} \right)\) và \(\left( {AB'M} \right)\).

Vậy \[{\rm{cos}}\alpha  = \frac{{\left| {\overrightarrow k .\overrightarrow {{n_{\left( {AB'M} \right)}}} } \right|}}{{\left| {\overrightarrow k } \right|.\left| {\overrightarrow {{n_{\left( {AB'M} \right)}}} } \right|}} = \frac{{\left| {2\sqrt 3 } \right|}}{{1.2\sqrt {22} }} = \sqrt {\frac{3}{{22}}}  \Rightarrow {\rm{sin}}\alpha  = \sqrt {1 - {\rm{co}}{{\rm{s}}^2}\alpha }  = \sqrt {\frac{{19}}{{22}}}  = \frac{{\sqrt {418} }}{{22}}\].