Por favor, envía tu CV en inglés y especifica tu nivel de dominio del idioma.

Mindrift conecta especialistas con oportunidades de IA basadas en proyectos para empresas tecnológicas líderes, centradas en la prueba, evaluación y mejora de sistemas de IA.

Participación basada en proyectos, no empleo permanente.

Detalles de la Oportunidad

Estamos construyendo un conjunto de datos para evaluar agentes de codificación de IA, cómo un modelo maneja tareas reales de desarrollador.

Tu rol incluirá:

• Crear entornos de desarrollo realistas: una empresa virtual con código, infraestructura y contexto que forme una historia de desarrollo creíble.
• Diseñar tareas a partir de estados intermedios de estos entornos: formular el enunciado, definir qué significa "resuelto" y asegurarse de que la tarea sea solucionable por un agente de IA.
• Escribir pruebas que verifiquen las soluciones del agente: aceptar todos los enfoques válidos y rechazar los incorrectos, sin ser demasiado estrictos ni indulgentes.
• Iterar sobre tareas y pruebas según los comentarios de QA: revisar soluciones de agentes, analizar fallos y refinar hasta que la evaluación sea justa y robusta.

Esto NO es:

• Etiquetado de datos
• Ingeniería de enunciados
• Escribir código desde cero - el agente escribe la mayoría del código; tú guías y evalúas.

Buscamos candidatos que:

• Tengan más de 5 años de experiencia en desarrollo de software.
• Conozcan el stack principal: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis.
• Tengan experiencia escribiendo pruebas (funcionales, de integración).
• Dominen el inglés a nivel B2 o superior.

Desafíos de la tarea

Los modelos de frontera ya son buenos en codificación. Crear una tarea que desafíe genuinamente a los mejores modelos no es trivial. Necesitas entender profundamente dónde fallan los modelos y qué escenarios revelan la diferencia entre una buena y una mala solución.

¿Cómo funciona?

Aplica → Supera las calificaciones → Únete a un proyecto → Completa tareas → Recibe pago.

Estimación de esfuerzo

Las tareas para este proyecto se estiman en 20 horas, dependiendo de la complejidad. Esta es una estimación, no un requisito de programación; eliges cuándo y cómo trabajar.

Compensación

Hasta $40/hora equivalente, dependiendo del nivel y la rapidez. Las tareas se estiman en 20 horas cada una; tú estableces tu propio horario.