Trazamos una selección cualquiera que va a ser la forma primitiva a la cual le queremos redondear los bordes.

En la paleta de canales (si no la ven vayan a ventana/mostrar canales), creamos un nuevo canal, ñuego presionamos las teclas [Ctrl+I], lo cual hará que el área dentro de la selección se torne blanca, apretamos [Ctrl+D] para quitar la selección.

Ahora vamos a filtro/desenfocar/desenfoque gausiano filter/blur/gaussian blur, seleccionamos un valor alrededor de 5 (cuanto mas alto el valor, mas reondeados van a quedar los bordes).

Luegos vamos a imagen/ajustar niveles image/adjust/levels, va a aparecer un cuadro como el de la izquierda, no se asusten simplemente introduzcan los siguientes valores "De entrada Input Levels": 120 , 1.00 y 140 y pulsen sobre el botón OK

¡Walla! bordes redondos perfectos. Ahora manteniendo la tecla Ctrl pulsada hacemos un click izquierdo en el canal que creamos (seguramente se llama Alfa 1) con lo cual la forma redondeada qudara seleccionada, ahora queda volver al la paleta de capas y usar la selección que acabamos de crear para alguna cosa interesante.
Yo por ejemplo hice un botón verde, experimenten esta técnica es muy útil.