Скалярное произведение векторов=произведению их длин на косинус угла между ними.
(а-2b)(a+b)= Ia-2bI*Ia+bI*cos120°.
Стрелочки над а и b поставьте.
