Cho hình chóp \(S.ABC\) có đáy là tam giác \(ABC\) vuông tại \(B\), \(AC = 2a,\widehat {SAB} = \widehat {SCB} = 90^\circ \). Gọi \(\alpha \) là góc giữa \(SA\) và mặt phẳng \(\left( {SBC} \right),\beta \) là góc giữa \(SC\) và mặt phẳng \(\left( {SAB} \right)\). Biết \({\rm{sin}}\alpha = \frac{{\sqrt 2 }}{4},{\rm{sin}}\beta = \frac{{\sqrt 6 }}{4}\) và \(SB\) không vượt quá \(a\sqrt 6 \), tính thể tích khối chóp \(S.ABC\).         

Gọi \(H\) là hình chiếu vuông góc của \(S\) trên mặt phẳng \(\left( {ABC} \right)\).

Vì \(\widehat {SAB} = \widehat {SCB} = 90^\circ \) nên \(BA \bot \left( {SAH} \right),BC \bot \left( {SCH} \right)\), suy ra \(HABC\) là hình chữ nhật.

Đặt hệ trục tọa độ \(Oxyz\) sao cho \(O \equiv H\), tia \(Ox,Oy,Oz\) lần lượt trùng với tia \(HA,HC,HS\).

Gọi \(A\left( {x;0;0} \right),C\left( {0;y;0} \right),S\left( {0;0;z} \right)\) (do \(A,C,S\) lần lượt nằm trên các tia \(Ox,Oy,Oz)\)

Điều kiện: \(x,y,z > 0\).

Khi đó \(B\left( {x;y;0} \right),\overrightarrow {SA}  = \left( {x;0; - z} \right),\overrightarrow {SC}  = \left( {0;y; - z} \right),\overrightarrow {AB}  = \left( {0;y;0} \right),\overrightarrow {CB}  = \left( {x;0;0} \right)\).

Mặt phẳng \(\left( {SBC} \right)\) có vectơ pháp tuyến là \(\overrightarrow {{n_{\left( {SBC} \right)}}}  = \left[ {\overrightarrow {SC} ,\overrightarrow {CB} } \right] = \left( {0; - xz; - xy} \right)\)

\(\alpha \) là góc giữa \(SA\) và mặt phẳng \(\left( {SBC} \right)\) nên

\({\rm{sin}}\alpha  = \frac{{\left| {\overrightarrow {SA}  \cdot \overrightarrow {{n_{\left( {SBC} \right)}}} } \right|}}{{\left| {\overrightarrow {SA} } \right|\left| {\overrightarrow {{n_{\left( {SBC} \right)}}} } \right|}} = \frac{{\left| {xyz} \right|}}{{\sqrt {{x^2} + {z^2}}  \cdot \sqrt {{x^2}{z^2} + {x^2}{y^2}} }}\).

Mà \({\rm{sin}}\alpha  = \frac{{\sqrt 2 }}{4}\) nên \(\frac{{\left| {xyz} \right|}}{{\sqrt {{x^2} + {z^2}}  \cdot \sqrt {{x^2}{z^2} + {x^2}{y^2}} }} = \frac{{\sqrt 2 }}{4} \Rightarrow \frac{{{y^2}{z^2}}}{{\left( {{x^2} + {z^2}} \right)\left( {{y^2} + {z^2}} \right)}} = \frac{1}{8}\) (1)

Mặt phẳng \(\left( {SAB} \right)\) có vectơ pháp tuyến là \(\overrightarrow {{n_{\left( {SAB} \right)}}}  = \left[ {\overrightarrow {SA} ,\overrightarrow {AB} } \right] = \left( {yz;0;xy} \right)\)

\(\beta \) là góc giữa \(SC\) và mặt phẳng \(\left( {SAB} \right)\) nên

\({\rm{sin}}\beta  = \frac{{\left| {\overrightarrow {SC}  \cdot \overrightarrow {{n_{\left( {SAB} \right)}}} } \right|}}{{\left| {\overrightarrow {SC} } \right|\left| {\overrightarrow {{n_{\left( {SAB} \right)}}} } \right|}} = \frac{{\left| { - xyz} \right|}}{{\sqrt {{y^2} + {z^2}}  \cdot \sqrt {{y^2}{z^2} + {x^2}{y^2}} }}\).

Mà \({\rm{sin}}\beta  = \frac{{\sqrt 6 }}{4}\) nên \(\frac{{\left| { - xyz} \right|}}{{\sqrt {{y^2} + {z^2}}  \cdot \sqrt {{y^2}{z^2} + {x^2}{y^2}} }} = \frac{{\sqrt 6 }}{4} \Rightarrow \frac{{{x^2}{z^2}}}{{\left( {{x^2} + {z^2}} \right)\left( {{y^2} + {z^2}} \right)}} = \frac{3}{8}{\rm{\;}}\) (2)

Từ (1) và (2) suy ra

\(\frac{{{y^2}{z^2}}}{{\left( {{x^2} + {z^2}} \right)\left( {{y^2} + {z^2}} \right)}}:\frac{{{x^2}{z^2}}}{{\left( {{x^2} + {z^2}} \right)\left( {{y^2} + {z^2}} \right)}} = \frac{1}{8}:\frac{3}{8} \Leftrightarrow \frac{{{y^2}}}{{{x^2}}} = \frac{1}{3} \Rightarrow x = \sqrt 3 y(x,y > 0)\).

Vì \(AC = 2a\) nên \(\sqrt {{x^2} + {y^2}}  = 2a \Rightarrow {x^2} + {y^2} = 4{a^2}\).

Mà \(x = \sqrt 3 y\) nên\({\left( {\sqrt 3 y} \right)^2} + {y^2} = 4{a^2} \Rightarrow y = a \Rightarrow x = a\sqrt 3 \).

Do đó \(AB = a;CB = a\sqrt 3 \).

Diện tích tam giác \(ABC\) là \({S_{ABC}} = \frac{1}{2}AB \cdot CB = \frac{1}{2}a \cdot a\sqrt 3  = \frac{{{a^2}\sqrt 3 }}{2}\).

Thay \(x = a\sqrt 3 ,y = a\) vào (1), ta được

\(\frac{{{a^2}{z^2}}}{{\left( {3{a^2} + {z^2}} \right)\left( {{a^2} + {z^2}} \right)}} = \frac{1}{8} \Leftrightarrow {z^4} - 4{a^2}{z^2} + 3{a^4} = 0 \Leftrightarrow \left( {{z^2} - {a^2}} \right)\left( {{z^2} - 3{a^2}} \right)\)

\( \Rightarrow \left[ \begin{array}{l}z = a\\z = a\sqrt 3 \end{array} \right.\). Mà \(SB \le a\sqrt 6 \) nên \(z = a\).

Thể tích của khối chóp S.ABC là \({V_{S.ABC}} = \frac{1}{3}{S_{ABC}} \cdot SH = \frac{1}{3} \cdot \frac{{{a^2}\sqrt 3 }}{2} \cdot a = \frac{{{a^3}\sqrt 3 }}{6}\). Chọn C.