Cho các số thực x, y thỏa mãn 4x² + 2xy + y² = 3.

Tìm GTLN, GTNN của P = x² + 2xy – y².

Ta có: $\frac{P}{3}=\frac{x^2+2xy-y^2}{4x^2+2xy+y^2}$ (*)

Xét y = 0 thì x² = $\frac{3}{4}\Rightarrow x=\pm \frac{\sqrt{3}}{2}$

Suy ra: $\left[\begin{array}{l}P={\left(\frac{\sqrt{3}}{2}\right)}^2+2.\frac{\sqrt{3}}{2}.0-0^2=\frac{3}{4}\\ P={\left(-\frac{\sqrt{3}}{2}\right)}^2+2.\left(-\frac{\sqrt{3}}{2}.\right)0-0^2=\frac{3}{4}\end{array}\right.$

Xét y khác 0, chia cả (*) cho y² ta được: $\frac{P}{3}=\frac{{\left(\frac{x}{y}\right)}^2+2\frac{x}{y}-1}{4{\left(\frac{x}{y}\right)}^2+2\frac{x}{y}+1}$

Đặt $\frac{x}{y}=a\Rightarrow \frac{P}{3}=\frac{a^2+2a-1}{4a^2+2a+1}$

* Xét $\frac{P}{3}-\left(-2\right)=\frac{a^2+2a-1}{4a^2+2a+1}+2=\frac{{\left(3a+1\right)}^2}{4a^2+2a+1}$

Vì (3a + 1)² ≥ 0 với mọi a nên $\frac{{\left(3a+1\right)}^2}{4a^2+2a+1}\ge 0$

Suy ra: $\frac{P}{3}-\left(-2\right)\ge 0\Rightarrow P\ge -6$

Vậy GTNN của P là -6 khi 3a + 1 = 0 hay a = $\frac{-1}{3}\iff \frac{x}{y}=\frac{-1}{3}\iff -3x=y$

Thay vào 4x² + 2xy + y² = 3, ta được: 7x² = 3

⇔ $\left[\begin{array}{l}x=\frac{\sqrt{21}}{7}\\ x=-\frac{\sqrt{21}}{7}\end{array}\right.\Rightarrow \left[\begin{array}{l}y=\frac{-3\sqrt{21}}{7}\\ y=\frac{3\sqrt{21}}{7}\end{array}\right.$

Vậy GTNN của P là -6 khi (x; y) = $\left(\frac{\sqrt{21}}{7};\frac{-3\sqrt{21}}{7}\right);\left(-\frac{\sqrt{21}}{7};\frac{3\sqrt{21}}{7}\right)$

* Xét $\frac{P}{3}-\frac{1}{3}=\frac{a^2+2a-1}{4a^2+2a+1}-\frac{1}{3}=\frac{-{\left(a-2\right)}^2}{4a^2+2a+1}$

Vì –(a – 2)² ≤ 0 với mọi a nên: $\frac{-{\left(a-2\right)}^2}{4a^2+2a+1}\le 0,\forall a$

Suy ra: $\frac{P}{3}-\frac{1}{3}\le 0\Rightarrow P\le 1$

Vậy GTLN của P là 1 khi a – 2 = 0 hay a = 2.

Khi đó x = 2y

Thay vào 4x² + 2xy + y² = 3, ta được: 21y² = 3

⇔  $\left[\begin{array}{l}y=\frac{1}{\sqrt{7}}\\ y=-\frac{1}{\sqrt{7}}\end{array}\right.\Rightarrow \left[\begin{array}{l}x=\frac{2}{\sqrt{7}}\\ x=-\frac{2}{\sqrt{7}}\end{array}\right.$

Vậy GTLN của P là 1 khi (x; y) = $\left(\frac{2}{\sqrt{7}};\frac{1}{\sqrt{7}}\right);\left(-\frac{2}{\sqrt{7}};-\frac{1}{\sqrt{7}}\right)$.