誘導(?)に従って、ヘロンの公式から解を導いてみた。
$a\equiv BC, b\equiv CA, c\equiv AB, d\equiv AM$ とおく。また、△ABM、△ACM の面積を $S$ とする。
まず、△ACM について。$$16S^2=\qty(\frac{a}{2}+b+d)\qty(-\frac{a}{2}+b+d)\qty(\frac{a}{2}-b+d)\qty(\frac{a}{2}+b-d)$$
ここで、$p\equiv\frac{a}{2}+d, q\equiv\frac{a}{2}-d$とおく。
すると、$$16S^2=(p+b)(-q+b)(p-b)(q-b)=-(p^2-b^2)(q^2-b^2)$$
△ABM についても同様に、$$16S^2=-(p^2-c^2)(q^2-c^2)$$
これらから、次のような方程式を考える。$$
\begin{align} (p^2-b^2)(q^2-b^2)&=(p^2-c^2)(q^2-c^2) \\
p^2q^2-(p^2+q^2)b^2+b^4&=p^2q^2-(p^2+q^2)c^2+c^4 \\
(p^2+q^2)(b^2-c^2)&=b^4-c^4=(b^2+c^2)(b^2-c^2) \end{align}$$
$b\ne c$ のとき、$$
\begin{align} b^2+c^2=p^2+q^2&=\frac{a^2}{2}+2d^2 \\
2d^2&=-\frac{a^2}{2}+b^2+c^2 \end{align}$$
$d>0$ より、$$d=\sqrt{-\frac{a^2}{4}+\frac{1}{2}(b^2+c^2)}$$
$b=c$ のとき、△ACM について三平方の定理より、$$b^2=\frac{a^2}{4}+d^2$$
$d>0$ より、$$d=\sqrt{-\frac{a^2}{4}+b^2}$$となり、$b\ne c$ の場合の解に $c=b$ を代入した結果である。
従って、$$AM=\sqrt{-\frac{a^2}{4}+\frac{1}{2}(b^2+c^2)}$$
以上。
でもやはりこれは難しく考えすぎで、余弦定理を使うと一発。
余弦定理より、$$c^2=\frac{a^2}{4}+d^2-ad\cos\angle AMB$$
$$\begin{align} b^2&=\frac{a^2}{4}+d^2-ad\cos(\pi-\angle AMB) \\
&=\frac{a^2}{4}+d^2+ad\cos\angle AMB \end{align}$$
辺々を加えて、$$
\begin{align} b^2+c^2&=\frac{a^2}{2}+2d^2 \\
2d^2&=-\frac{a^2}{2}+b^2+c^2 \\
d&=\sqrt{-\frac{a^2}{4}+\frac{1}{2}(b^2+c^2)} \end{align}
$$となり、ヘロンの公式バージョンと同じ結果が出た。