NOTAS DE DESARROLLO

Una evaluación de código con IA debe detectar el fallo, no admirar la respuesta

Crea evaluaciones con casos reservados, comprobaciones independientes e intentos bien contados.

Edwin··2 min·307 palabras
AI developmentTestingSRE
Una evaluación de código con IA debe detectar el fallo, no admirar la respuesta
ESARTÍCULO NATURAL

Una explicación convincente puede hacer que un parche incorrecto parezca terminado. Por eso prefiero que la aplicación tenga voto en la evaluación. El agente puede explicar, pero el comportamiento necesita evidencia independiente. Esto es una receta práctica, no un ranking de modelos.

Empieza por fallos relevantes

Elige tareas pequeñas reales: límite de importación, permisos, zona horaria, estado vacío y consulta costosa. Guarda fixtures saneados y comportamiento esperado. Incluye un caso donde falte información y la respuesta correcta sea reconocerlo.

Comprueba que el fallo existe antes. Una prueba que ya pasa no demuestra reparación. Reserva algunas comprobaciones fuera del prompt para evitar que el agente copie una aserción visible. Deben seguir siendo justas y derivarse del requisito.

Fija el contrato

Registra revisión, entorno, tarea, modelo, herramientas y timeout. Mantén el evaluador fuera de archivos que el trabajador pueda editar libremente. Si modificar pruebas forma parte del encargo, conserva otra comprobación independiente. Borrar la aserción que falla no debe convertirse en éxito.

Evalúa por separado comportamiento, regresiones, límites de permisos, alcance y evidencia. Un promedio puede esconder un problema grave. Un resultado correcto que expone un secreto no aprueba.

Cuenta los intentos

Distingue primer intento de éxito tras feedback. Incluye reintentos y reparación humana en costo y tiempo. Si alguien proporciona el algoritmo faltante, regístralo. La ayuda puede ser útil sin fingir independencia total.

Repite cuando importe la variabilidad y conserva los fallos. Una prueba inestable o caída del entorno requiere otra categoría; no la conviertas automáticamente en defecto del modelo. Publica el denominador real.

Aprende del fallo que escapó

Añade la reproducción mínima después de un incidente. Mantén un conjunto suficientemente pequeño para repetirlo al cambiar modelo, harness o dependencias, y renueva algunos casos reservados.

Un buen informe permite inspeccionar entrada, parche y comprobación. La explicación agradable ayuda; el comportamiento repetible demuestra si el asistente mejora el trabajo.

JP日本語
SubjectObjectVerbParticleTechnicalConnectorAdjectiveTime / context
CONTINÚA EN MANABI KŌBŌ

Pon esta idea en práctica

Rincón de Lectura

Practica lectura bilingüe con apoyo para japonés.

Abrir herramienta →
Curso guiado de japonés

Continúa con lecciones y práctica estructuradas.

Abrir herramienta →
Adaptive Recall

Convierte frases útiles en práctica espaciada.

Abrir herramienta →
NOTAS RELACIONADAS
← Volver a todos los artículos
Compartir esta nota Correo