Cho hình chóp \(S.ABCD\) có đáy \(ABCD\) là hình vuông cạnh \(a\), mặt bên \(SAB\) là tam giác đều và nằm trong mặt phẳng vuông góc với mặt phẳng \(\left( {ABCD} \right)\). Gọi \(G\) là trọng tâm của tam giác \(SAB\) và \(M,\,N\) lần lượt là trung điểm của \(SC,\,SD\)(tham khảo hình vẽ bên). Tính côsin của góc giữa hai mặt phẳng \(\left( {GMN} \right)\) và \(\left( {ABCD} \right)\).

Ta có \[BC \bot \left( {SAB} \right)\]\[ \Rightarrow BC \bot AM\]\[ \Rightarrow AM \bot \left( {SBC} \right)\]\[ \Rightarrow AM \bot SC\]. Tương tự ta cũng có \[AN \bot SC\]\[ \Rightarrow \left( {AMN} \right) \bot SC\]. Gọi \[\varphi \] là góc giữa đường thẳng \[SB\] và \[\left( {AMN} \right)\].

Chuẩn hóa và chọn hệ trục tọa độ sao cho \[A\left( {0;0;0} \right)\], \[B\left( {0;1;0} \right)\], \[D\left( {1;0;0} \right)\], \[S\left( {0;0;\sqrt 2 } \right)\],

\[C\left( {1;1;0} \right)\], \[\overrightarrow {SC}  = \left( {1;1; - \sqrt 2 } \right)\], \[\overrightarrow {SB}  = \left( {0;1; - \sqrt 2 } \right)\]. Do \[\left( {AMN} \right) \bot SC\] nên \[\left( {AMN} \right)\] có vtpt \[\overrightarrow {SC} \]

$\sin \phi =\frac{\left|3\right|}{2\sqrt{3}}=\frac{\sqrt{3}}{2}\Rightarrow \phi ={60}^{\text{o}}$

Đặt hệ trục tọa độ \(Oxyz\) như hình vẽ. Khi đó, ta có \(A\left( {0;0;0} \right)\), \(B\left( {a;0;0} \right)\), \(D\left( {0;a\sqrt 3 ;0} \right)\), \(S\left( {0;0;a} \right)\).

Ta có \(\overrightarrow {BD}  = \left( { - a;a\sqrt 3 ;0} \right) = a\left( { - 1;\sqrt 3 ;0} \right)\), nên đường thẳng \(BD\) có véc-tơ chỉ phương là \(\overrightarrow u  = \left( { - 1;\sqrt 3 ;0} \right)\).

Ta có \(\overrightarrow {SB}  = \left( {a;0; - a} \right)\), \(\overrightarrow {BC}  = \left( {0;a\sqrt 3 ;0} \right)\) \( \Rightarrow \left[ {\overrightarrow {SB} ,\overrightarrow {BC} } \right] = \left( {{a^2}\sqrt 3 ;0;{a^2}\sqrt 3 } \right)\)\( = {a^2}\sqrt 3 \left( {1;0;1} \right)\).

Như vậy, mặt phẳng \(\left( {SBC} \right)\)có véc-tơ pháp tuyến là \(\overrightarrow n  = \left( {1;0;1} \right)\).

Do đó, \(\alpha \) là góc tạo bởi giữa đường thẳng \(BD\) và mặt phẳng \(\left( {SBC} \right)\) thì

\(\sin \alpha  = \frac{{\left| {\overrightarrow u .\overrightarrow n } \right|}}{{\left| {\overrightarrow u } \right|.\left| {\overrightarrow n } \right|}}\)\( = \frac{{\left| {\left( { - 1} \right).1 + \sqrt 3 .0 + 0.1} \right|}}{{\sqrt {{{\left( { - 1} \right)}^2} + {{\sqrt 3 }^2} + {0^2}} .\sqrt {{1^2} + {0^2} + {1^2}} }}\)\( = \frac{{\sqrt 2 }}{4}\).