¿Hay libros o tutoriales que enseñen cómo construir un motor de modelado y animación 3D como Blender?

Yo deseo.

Las herramientas de modelado 3D como Blender se componen de muchos marcos para manejar cosas como datos de malla, aparejos y animación, gestión de datos de escena, visualización en tiempo real (en el editor), visualización renderizada (el producto final), ventanas e inscripciones, secuencias de comandos, importación y exportando datos, física, etc.

Puede encontrar tutoriales sobre todas estas cosas separadas y tendrá que armarlas usted mismo. Es una tarea enorme y supongo que empresas como Autodesk tienen equipos de personas trabajando en las piezas individuales. También puede usar proyectos como Open Scene Graph y OGRE para cosas que quizás no quiera escribir.

También puede descargar el código fuente de Blender y ver cómo lo hicieron.

Libros de interes:

Álgebra lineal práctica – Gerald Farin y Dianne Hansford
Algoritmos y técnicas de animación por computadora – Rick Parent
Arquitectura del motor de juego – Jason Gregory
Herramientas geométricas para gráficos por computadora – Philip Schneider y David H. Eberly (lleno de errores pero aún útil)
Representación en tiempo real – Tomas Akenine-Moller y Eric Haines