Funciones de activación no lineales

En la etapa anterior aprendiste a calcular la combinación afín de una neurona: $z = \sum w_i x_i + b$. Pero hay una limitación matemática fundamental: las combinaciones lineales solo pueden trazar líneas rectas o planos.

Si conectas múltiples capas de neuronas lineales en cascada, la combinación de una recta con otra recta sigue siendo matemáticamente una recta. Ninguna red meramente lineal, sin importar cuán profunda sea, podría resolver problemas no lineales elementales como la compuerta XOR o clasificar datos que forman círculos concéntricos.

Para otorgar a las redes neuronales la capacidad de aprender formas, curvas y fronteras de decisión complejas, la salida lineal $z$ debe pasar a través de una función de activaciónFunción matemática aplicada a la salida ponderada de una neurona para transformar la señal de forma no linealVer documentación oficial no lineal.

Entradas (x) ──> [ Suma ponderada: z = Σ w·x + b ] ──> [ Activación: f(z) ] ──> Salida (y)

Implementarás las dos funciones más influyentes en la historia del aprendizaje profundo:

1. Sigmoide ($\sigma$)

Comprime cualquier número real del rango $(-\infty, +\infty)$ en un valor estrictamente comprendido en el intervalo $(0, 1)$. Esto la convierte en la herramienta perfecta para modelar probabilidades:

Propiedades intuitivas:

• Si $z = 0$, la neurona está en un punto neutro: $e^{-0} = 1$, por lo que $\sigma(0) = \frac{1}{1 + 1} = 0.5$ (50% de probabilidad).
• Con valores positivos crecientes (ej. $z = 2.0$), $e^{-2} \approx 0.1353$, y $\sigma(2.0) = \frac{1}{1 + 0.1353} \approx 0.8808$.
• Con valores negativos decrecientes (ej. $z = -2.0$), $e^{2} \approx 7.3891$, y $\sigma(-2.0) = \frac{1}{1 + 7.3891} \approx 0.1192$.

2. ReLU (Rectified Linear Unit)

Es la función de activación más utilizada en redes profundas modernas gracias a su simplicidad computacional y a que no sufre saturación en la región positiva:

• Si $z \ge 0$, devuelve exactamente $z$ (deja pasar la señal).
• Si $z < 0$, devuelve $0$ (apaga la neurona).

Cuando la entrada contenga "op": "activation", tu programa debe leer:

• function: nombre de la función ("sigmoid" o "relu")
• value: valor flotante $z$ a activar

Ejemplos de entrada y salida

Ejemplo A (Sigmoide):

{ "op": "activation", "function": "sigmoid", "value": 2.0 }

Salida:

{ "output": 0.8808 }

Ejemplo B (ReLU):

{ "op": "activation", "function": "relu", "value": -3.2 }

Salida:

{ "output": 0 }

• En Python: Usa el módulo estándar math:

  import math
  
  if fn == "relu":
      out = max(0.0, float(value))
  elif fn == "sigmoid":
      out = 1.0 / (1.0 + math.exp(-float(value)))
  

• En TypeScript: Usa el objeto global Math:

  if (fn === "relu") {
    return { output: roundValue(Math.max(0, value)) };
  }
  if (fn === "sigmoid") {
    return { output: roundValue(1 / (1 + Math.exp(-value))) };
  }
  

Errores comunes de principiantes

• Olvidar el signo negativo en el exponente de la sigmoide: la fórmula es $e^{-z}$, no $e^{z}$.
• En ReLU, no confundir con el valor absoluto abs(z): los números negativos deben convertirse en 0, no en números positivos.

1. Funciones válidas: Si el campo function no es exactamente "sigmoid" ni "relu", escribe error en stderr y finaliza con código 1.
2. Formato numérico: Redondea el valor resultante a 4 decimales. Si el número resultante no tiene parte decimal (como 0 o 3), emítelo como entero.
3. Salida compacta: Emite únicamente el JSON resultante en una línea:

   { "output": 0.5 }
   

Los ejemplos multilínea se muestran así para facilitar la lectura. Emite JSON compacto, sin espacios opcionales, con las propiedades en el orden de los ejemplos de salida y un salto de línea final. No escribas logs en stdout. Las pruebas comparan texto exacto. Para entradas inválidas, usa stderr con la palabra error, stdout vacío y código 1. Para entradas válidas, código 0. Usa números JSON enteros cuando el resultado sea entero; en neural-network aplica el redondeo a cuatro decimales indicado en la etapa.