"алгоритм художника" это, по-моему, называется? :) в общем случае, кажется, вычисляется нормаль к грани, если проекция на ось, перпендикулярную экрану, положительна, то грань отрисовывается, иначе нет, причём положительным направлением оси является направление "из экрана".