Os valores de k para os quais seja a única solução do sistema NÃO pertencem ao conjunto

O sistema é homogêneo (todos os termos independentes são 0). Para que a única solução seja a trivial $(x,y,z)=(0,0,0)$, precisamos que a matriz dos coeficientes tenha determinante diferente de zero.

Matriz dos coeficientes:

k & 1 & 1\\ 1 & 2 & k\\ 1 & 4 & k^2 \end{pmatrix}$$ Calculando $\det(A)$ pela 1ª linha: \begin{align*} \det(A) &=k\,\det\begin{pmatrix}2 & k\\ 4 & k^2\end{pmatrix} -1\,\det\begin{pmatrix}1 & k\\ 1 & k^2\end{pmatrix} +1\,\det\begin{pmatrix}1 & 2\\ 1 & 4\end{pmatrix}\\[4pt] &=k(2k^2-4k) - (k^2-k) + (4-2)\\ &=k(2k^2-4k) -k^2 + k + 2\\ &=2k^3-4k^2-k^2+k+2\\ &=2k^3-5k^2+k+2. \end{align*} Fatorando: $$2k^3-5k^2+k+2=(k-1)(2k^2-3k-2)=(k-1)(2k+1)(k-2).$$ Logo, $\det(A)=0$ quando: $$k\in\left\{1,\,-\frac12,\,2\right\}.$$ Para solução única, precisamos de $\det(A)\neq 0$, então os valores de $k$ que **não** servem (ou seja, que tornam o determinante zero) são exatamente $\{1,2,-\tfrac12\}$. A questão pede o conjunto onde esses valores **NÃO pertencem**. Entre as alternativas, a única que **não contém** $2$ (e portanto não é o conjunto correto dos “proibidos”) é: $$\{1,-2,-\tfrac12\}.$$ Alternativa correta: (A).