Mindrift

Mindrift

0 0 Evaluaciones

11 días
Expira 20/08/2026

Freelance Agent Evaluation Engineer

Freelance Agent Evaluation Engineer

Oportunidad de Proyecto en AI

Por favor, envíe su CV en inglés e indique su nivel de competencia en el idioma.

Mindrift conecta a especialistas con oportunidades de AI basadas en proyectos para empresas tecnológicas líderes, centradas en probar, evaluar y mejorar sistemas de AI.

Descripción del Proyecto
Estamos construyendo un conjunto de datos para evaluar agentes de codificación de AI, centrándonos en cómo los modelos manejan tareas reales de desarrollo.

Responsabilidades

  • Construir entornos de desarrollador realistas.
  • Diseñar tareas y criterios de evaluación.
  • Escribir pruebas que verifiquen las soluciones de los agentes.
  • Iterar en tareas y pruebas basado en retroalimentación.

Lo que No Es

  • No se trata de etiquetado de datos.
  • No es ingeniería de prompts.
  • No es escribir código desde cero.

Perfil Buscado

  • 5+ años en desarrollo de software.
  • Pila técnica: Python, JavaScript/TypeScript.
  • Experiencia en escritura de pruebas.
  • Competencia en inglés - B2+.

Desafíos del Proyecto

Crear tareas que realmente desafíen a los mejores modelos es complicado. Se requiere una comprensión profunda de las fallas de los modelos.

Proceso de Aplicación

Aplica → Pasa las calificaciones → Únete a un proyecto → Completa tareas → Recibe pago.

Estimación de Esfuerzo

Las tareas están estimadas en 20 horas, dependiendo de la complejidad.

Compensación

Hasta $40/hr equivalente, dependiendo del nivel y ritmo.