Cho hình chóp \(OABC\) có \(OA,\;OB,\;OC\) đôi một vuông góc và \(OA = OB = OC = a\). Gọi \(M\) là điểm nằm trên cạnh \(BC\) sao cho \(BM = 2MC\), \(\alpha \) là góc giữa hai đường thẳng \(AB\) và \(OM\). Tính \(\cos \alpha \).

Gọi \(N,\;P,\;Q\) lần lượt là trung điểm của \(BM,\;OB,\;OA\) ta có: \(BC = a\sqrt 2 \) , \(CM = \frac{{a\sqrt 2 }}{3}\) .

Áp dụng định lí cosin trong \(\Delta OMC:\)\(O{M^2} = O{C^2} + M{C^2} - 2OC.MC.\cos {45^o} = \frac{{5{a^2}}}{9} \Rightarrow OM = \frac{{a\sqrt 5 }}{3}\).

 \(NP = \frac{1}{2}OM = \frac{{a\sqrt 5 }}{6}\) , \(PQ = \frac{1}{2}AB = \frac{{a\sqrt 2 }}{2}\).

\(ON = OM = \frac{{a\sqrt 5 }}{3} \Rightarrow Q{N^2} = O{Q^2} + O{N^2} = \frac{{29{a^2}}}{{36}}\) .

Xét tam giác \(NPQ\) ta có: \(\cos \left( {\widehat {QPN}} \right) = \frac{{P{Q^2} + P{N^2} - N{Q^2}}}{{2PQ.PN}} =  - \frac{1}{{\sqrt {10} }}\) .

Vì \(\left\{ \begin{array}{l}PN//OM\\PQ//AB\end{array} \right. \Rightarrow \left( {OM,\;AB} \right) = \left( {PN,\;PQ} \right) = \alpha \) .

Khi đó \[\cos \alpha  = \left| {\cos \widehat {NPQ}} \right| = \frac{{\sqrt {10} }}{{10}}\].