Experiment Design
Diseñar pruebas útiles para validar supuestos prioritarios.
Priorización de validación
Habilidad: Decidir qué supuesto validar primero usando criterios de impacto, incertidumbre y coste de validación.
¿Por qué importa esta habilidad?
Validar los supuestos equivocados en el orden equivocado es costoso. La priorización de validación asegura que el equipo ataque primero los supuestos que más importan y que son verificables con los recursos disponibles.
Qué se ve como un buen resultado
El equipo tiene un ranking de supuestos a validar con criterios explícitos, y el próximo experimento ya está diseñado para el supuesto más prioritario.
Errores comunes
- Validar primero lo que es más fácil en lugar de lo más importante.
- No considerar el costo de validación en la priorización.
- Cambiar el supuesto a validar en cada semana sin completar ninguno.
- No documentar el razonamiento detrás del orden elegido.
Preguntas que el startup debe responder
- ¿Cuál es el supuesto que, si resulta falso, cambia todo?
- ¿Cuál supuesto podemos validar con menos recursos?
- ¿Hay un supuesto que bloquea a todos los demás?
- ¿Con qué supuesto deberíamos empezar esta semana?
Artifact requerido
📄 Ranking de supuestos prioritarios
Propósito: Documentar el orden de validación de supuestos con criterios explícitos y próximo experimento definido.
Card vinculada: Priorización de validación
Instrucciones de desarrollo
- Toma los supuestos del cuadrante prioritario de la matriz impacto-incertidumbre.
- Añade un tercer criterio: costo de validación (alto, medio, bajo).
- Ordena los supuestos: primero los de alto impacto + alta incertidumbre + bajo costo de validación.
- Define el próximo experimento para el supuesto número uno.
Estado esperado: Ranking con supuestos ordenados, criterios explícitos y próximo experimento definido.
Criterios de revisión del Artifact
- Los supuestos prioritarios están ordenados con tres criterios.
- El razonamiento del orden está documentado.
- El próximo experimento está definido para el supuesto número uno.
- El ranking está alineado con la matriz impacto-incertidumbre.
Estado: ☐ No iniciado | ☐ En progreso | ☐ Completo | ☐ Revisado | ☐ Cumple estándar | ☐ Fuerte/Sobresaliente
Criterios de completitud
- El ranking tiene los supuestos prioritarios ordenados con criterios.
- El próximo experimento está definido.
- El equipo sigue el ranking para organizar el trabajo de validación.
Rúbrica de revisión
| Nivel | Descripción |
|---|---|
| No iniciado | No hay ningún ranking de validación. |
| En progreso | El ranking existe informalmente. |
| Completo | El ranking tiene supuestos ordenados con criterios básicos. |
| Revisado | El próximo experimento está definido y alineado con el ranking. |
| Cumple estándar | El ranking guía la planificación semanal del equipo. |
| Fuerte/Sobresaliente | Se actualiza con cada experimento completado y refleja el estado actual de la validación. |
Cards relacionadas / siguiente paso
- Impacto e incertidumbre
- Diseño de experimento
- Evidencia Loop
Diseño de experimento
Habilidad: Estructurar una prueba controlada para validar o refutar un supuesto específico.
¿Por qué importa esta habilidad?
Un experimento bien diseñado produce evidencia inequívoca. Un experimento mal diseñado produce ruido. La diferencia está en tener una hipótesis clara, un método apropiado y criterios de éxito definidos antes de empezar.
Qué se ve como un buen resultado
El equipo tiene una ficha de experimento completa que define: qué supuesto se prueba, qué se hará, qué resultado esperado confirma o refuta la hipótesis, y cuándo se evalúa.
Errores comunes
- Empezar el experimento antes de definir qué lo haría exitoso.
- Diseñar experimentos que no pueden falsificar la hipótesis.
- Cambiar el método del experimento a mitad de camino.
- No definir un tiempo límite para el experimento.
Preguntas que el startup debe responder
- ¿Cuál es el supuesto exacto que este experimento prueba?
- ¿Qué resultado confirmaría el supuesto y cuál lo refutaría?
- ¿Cuál es el método más rápido y barato para obtener evidencia?
- ¿En cuánto tiempo obtendremos resultados?
Artifact requerido
📄 Ficha de diseño de experimento
Propósito: Documentar el diseño de un experimento con hipótesis, método, criterios de éxito y tiempo límite.
Card vinculada: Diseño de experimento
Instrucciones de desarrollo
- Escribe el supuesto a validar en una frase clara.
- Define el método: ¿cómo se obtendrá la evidencia? (entrevista, prototipo, landing, piloto)
- Define los criterios de éxito: ¿qué resultado confirma? ¿qué resultado refuta?
- Define el tiempo límite y los recursos necesarios.
Estado esperado: Ficha con supuesto, método, criterios de éxito, tiempo límite y recursos.
Criterios de revisión del Artifact
- El supuesto está formulado como una hipótesis falsificable.
- El método puede producir evidencia inequívoca.
- Los criterios de éxito y fracaso están definidos antes de empezar.
- El tiempo límite y los recursos están definidos.
Estado: ☐ No iniciado | ☐ En progreso | ☐ Completo | ☐ Revisado | ☐ Cumple estándar | ☐ Fuerte/Sobresaliente
Criterios de completitud
- La ficha está completa antes de comenzar el experimento.
- Los criterios de éxito están definidos y son medibles.
- El equipo sigue la ficha para ejecutar el experimento.
Rúbrica de revisión
| Nivel | Descripción |
|---|---|
| No iniciado | No hay diseño de experimento documentado. |
| En progreso | El experimento existe pero sin criterios de éxito definidos. |
| Completo | La ficha tiene supuesto, método y criterios básicos. |
| Revisado | Todos los elementos están definidos antes de empezar. |
| Cumple estándar | La ficha produce evidencia que realmente prueba la hipótesis. |
| Fuerte/Sobresaliente | El diseño es reproducible y auditable como parte del repositorio de evidencia. |
Cards relacionadas / siguiente paso
- Priorización de validación
- Señales esperadas
- Registro de evidencia
Señales esperadas
Habilidad: Definir qué resultado confirmaría o refutaría una hipótesis antes de ejecutar el experimento.
¿Por qué importa esta habilidad?
Sin señales definidas antes del experimento, cualquier resultado puede interpretarse como confirmación. Las señales esperadas son el mecanismo que protege al equipo de la confirmación sesgada.
Qué se ve como un buen resultado
Para cada experimento diseñado, el equipo tiene documentado: qué resultado específico confirma la hipótesis, qué resultado específico la refuta y qué resultado es ambiguo.
Errores comunes
- Definir las señales de éxito después de ver los resultados.
- Usar métricas tan vagas que no permiten distinguir éxito de fracaso.
- No considerar el resultado ambiguo y qué hacer si ocurre.
- Cambiar las señales cuando el resultado no es el esperado.
Preguntas que el startup debe responder
- ¿Qué número o comportamiento específico confirmaría el supuesto?
- ¿Qué número o comportamiento específico lo refutaría?
- ¿Cuál es el resultado ambiguo y qué haríamos en ese caso?
- ¿Las señales son observables antes de que termine el experimento?
Artifact requerido
📄 Hoja de criterios de validación
Propósito: Documentar las señales de éxito, fracaso y ambigüedad para cada experimento antes de ejecutarlo.
Card vinculada: Señales esperadas
Instrucciones de desarrollo
- Para el experimento en curso, escribe: señal de confirmación = [resultado específico].
- Escribe: señal de refutación = [resultado específico diferente].
- Escribe: señal ambigua = [resultado intermedio] y define el siguiente paso si ocurre.
- Fija el momento de evaluación: ¿cuándo y cómo se medirán las señales?
Estado esperado: Hoja con las tres señales definidas y momento de evaluación establecido.
Criterios de revisión del Artifact
- Las tres señales (confirmación, refutación, ambigüedad) están definidas.
- Las señales son específicas y medibles.
- El momento de evaluación está definido.
- El siguiente paso para el resultado ambiguo está documentado.
Estado: ☐ No iniciado | ☐ En progreso | ☐ Completo | ☐ Revisado | ☐ Cumple estándar | ☐ Fuerte/Sobresaliente
Criterios de completitud
- La hoja de criterios está completa antes de comenzar el experimento.
- Las señales son específicas y no requieren interpretación subjetiva.
- El equipo usa la hoja para evaluar los resultados del experimento.
Rúbrica de revisión
| Nivel | Descripción |
|---|---|
| No iniciado | No hay señales definidas antes del experimento. |
| En progreso | Las señales existen pero son vagas. |
| Completo | La hoja tiene las tres señales definidas de forma básica. |
| Revisado | Las señales son específicas y medibles. |
| Cumple estándar | Las señales protegen al equipo de la confirmación sesgada. |
| Fuerte/Sobresaliente | La hoja es el insumo para el registro de evidencia y la decisión de pivotar/perseverar. |
Cards relacionadas / siguiente paso
- Diseño de experimento
- Registro de evidencia
- Decisión pivotar o perseverar