La física está escrita en el lenguaje de las matemáticas. Fue creado cuando comenzamos a asociar números a medidas físicas y a encontrar relaciones entre ellos. Si ignoras las relaciones matemáticas, estás ignorando la física. Sí, hay algo que puedes decir, y hay muchos libros para popularizar la ciencia en general y la física en particular. Muchos de ellos no usan matemáticas. No queda mucho, sin matemáticas, y como se trata de analogías, cualquier conexión será aproximada, por lo que no puede obtener una precisión real.
Sería mejor que encontraras libros con tantas matemáticas como puedas manejar. Si eso es solo un poquito, entonces haz eso. Cuantas más matemáticas aprendas, más física podrás entender. En realidad, puedes aprender una cantidad impresionante de física cuántica y relatividad con solo álgebra de secundaria; por ejemplo, consulta Mecánica cuántica en forma de matriz simple de Jordan. Cuando lo leí, me sorprendió la cantidad de QM que podía explicar usando solo matrices 2 × 2. Obviamente no todo, pero una pieza más grande de lo que esperaba.