http://www.intuit.ru/department/graphics/graphalg/class/free/5/3.html
http://www.intuit.ru/department/graphics/graphalg/class/free/5/05_07.gif
«В каждом из этих вариантов для нахождения пересечения отрезка с окном необходимо уметь определять принадлежность точки выпуклому многоугольнику. Из рис. 5.7 видно, что если для любой точки g, принадлежащей многоугольнику (или его границе), и произвольной точки ребра f построить вектор m=g-f, то выполняется условие m.n>=0, поскольку угол между векторами не может превышать 90°. Таким образом, если данное условие выполняется для всех ребер многоугольника, то точка является внутренней.»
Я начертил многоугольник, поставил произвольную точку внутри него, вторую - на ребре. Кроме этих четырех координат, ничего нет. Как построить вектора g и f, которые можно друг из друга вычесть? Или каждую точку нужно рассматривать как радиус-вектор? Я попробовал так, но угол a получился острым. Скорее всего, подразумевалось что-то другое:(