El modo screen de PS sí sé cómo es. Si F, G son dos imágenes,
Screen(F,G) = ~(~F × ~G)
donde ~ representa la operación de inversión:
~x = 1 — x
Es muy sencillo implementar esto en PixelMath. Overlay lo debo tener por ahí, no lo recuerdo en este momento; trataré de buscarlo.
Por cierto, la operación Screen se utiliza en la herramienta ExponentialTransformations. Además, esta herramienta tiene otra operación parecida, que inventó Carlos Milovic. Es PIP (Power of Inverted Pixels):
PIP(F,G) = F^(~G)
donde ^ representa la exponenciación. Esta función es mejor que Screen para realzar la información en las sombras.