Cho hình chóp \(S.ABC\) có đáy \(ABC\) là tam giác vuông tại \(B\), \(AB = 3a\), \(BC = 4a\). Cạnh bên \(SA\) vuông góc với đáy. Góc tạo bởi đường thẳng \(SC\) với mặt phẳng \(\left( {ABC} \right)\) bằng \(60^\circ \). Gọi \(M\) là trung điểm của cạnh \(AC\), khoảng cách giữa hai đường thẳng \(AB\) và \(SM\) bằng:

Trong mặt phẳng \(\left( {ABC} \right)\), kẻ \(AH \bot MN\)\( \Rightarrow \) tứ giác \(ABNH\) là hình chữ nhật.

Trong mặt phẳng \(\left( {SAH} \right)\), kẻ \(AK \bot SH\). \(\left( 1 \right)\)

Do \(AH \bot MN\) và \(SA \bot MN\) nên \(MN \bot \left( {SAH} \right)\) \( \Rightarrow MN \bot AK\). \(\left( 2 \right)\)

Từ \(\left( 1 \right)\) và \(\left( 2 \right)\) suy ra \(AK \bot \left( {SMN} \right)\) \( \Rightarrow d\left( {A,\left( {SMN} \right)} \right) = AK\).

Xét tam giác vuông \(SAH\), ta có \(\frac{1}{{A{K^2}}} = \frac{1}{{A{H^2}}} + \frac{1}{{S{A^2}}} = \frac{1}{{{{\left( {2a} \right)}^2}}} + \frac{1}{{{{\left( {5a\sqrt 3 } \right)}^2}}} = \frac{{79}}{{300{a^2}}}\).

\( \Rightarrow AK = \frac{{10a\sqrt 3 }}{{\sqrt {79} }}\). Vậy \(d\left( {AB,SM} \right) = \frac{{10a\sqrt 3 }}{{\sqrt {79} }}\). Chọn D.