Experimental Design Expert Job at Howrecruit in San Mateo

Senior Data Analyst / Experimental Designer Expert

$170k–$210k USD + equity + annual bonus + incredible benefits

Remote (US / Canada)

Profitable Startup

Howrecruit has been retained by a profitable, high-growth home services platform to hire a Senior Data Analyst who lives and breathes experimental design. This isn't a role where experimentation is just one item on a long list. It's the core of what you'll do. You'll own the end-to-end experimentation program, designing rigorous A / B tests that directly shape product strategy and business decisions.

If you're someone who gets excited about power calculations, debates the merits of sequential testing, and has strong opinions about when to use stratification vs. blocking, we want to talk to you.

What you'll do :

• Own the experimentation roadmap : Design, implement, and analyze sophisticated A / B tests and multivariate experiments that answer critical business questions
• Be the experimentation subject matter expert : Educate stakeholders on experimental best practices, help them formulate testable hypotheses, and determine appropriate sample sizes and test durations
• Navigate complexity : Handle challenges like network effects, interference between test groups, non-normal distributions, and multiple testing corrections
• Drive statistical rigor : Choose appropriate statistical methods (frequentist, Bayesian, sequential testing) based on the context, and clearly communicate tradeoffs
• Partner with engineering : Collaborate on instrumentation and randomization strategies to ensure experiments are implemented correctly
• Establish guardrail metrics : Define and monitor metrics that protect the user experience and business health during experimentation
• Build experimentation infrastructure : Create frameworks, templates, and documentation that scale experimentation across the organization
• Democratize insights : Translate complex experimental results into clear recommendations that drive action
• Support ad-hoc analysis : Write SQL queries, build dashboards in Snowflake and future BI tools, and respond to data requests as needed

Requirements :

Bonus points for :

A Successful Candidate :

If you're an experimentation expert with strong quantitative training who wants to build a world-class testing program at a profitable, fast-growing startup, we'd love to hear from you. This is a chance to have outsized impact and work behind the scenes of one of the most successful bootstrapped companies you've never heard of.

In Summary : Senior Data Analyst / Experimental Designer Expert $170k–$210k USD + equity + annual bonus + incredible benefits Remote (US / Canada) Profitable Startup . You'll own the end-to-end experimentation program, designing rigorous A / B tests that shape product strategy .

En Español : El analista de datos senior / diseñador experimental experto $170k$210k USD + capital + bono anual + beneficios increíbles Remote (Estados Unidos / Canadá) StartupRentableHowrecruit ha sido retenido por una plataforma de servicios domésticos rentable y de alto crecimiento para contratar a un analista principal de datos que vive y respira el diseño experimental. Este no es un papel donde la experimentación es solo un elemento en una larga lista. Es el núcleo de lo que harás. Poseerás el programa de experimentaciones de extremo a extremo, diseñando rigurosas pruebas A / B que moldean directamente la estrategia del producto y las decisiones comerciales. bloquear, queremos hablar con usted.Lo que va a hacer : Poseer la hoja de ruta de experimentación : Diseñar, implementar y analizar pruebas A / B sofisticadas e experimentos multivariados que responden preguntas críticas del negocioSé el experto en materia de experimento : Educar a las partes interesadas sobre las mejores prácticas experimentales, ayudarlas a formular hipótesis verificables y determinar los tamaños de muestras adecuados y duración de las pruebasComplicidad de navegación : Manejar desafíos como efectos de red, interferencias entre grupos de prueba, distribuciones no normales y correcciones de análisisDirección estadística rigor : Elegir métodos estadísticos apropiados (expertos graduados, Bayesianos, ensayos secuenciales) basados en el contexto, y intercambiar conocimientos con pruebas estadísticasPartneres con ingeniería : Colaborar en estrategias de instrumentación aleatoria para garantizar que se apliquen estatisticamente los experimentosDesarrollo biológicoConstruir cuálestros internacionalesDefinición de productos y procedimientos operativos, diseño y desarrollo de datos externosCuándo se necesita una amplia comprensión de los resultados de las investigaciones, diseña de sistemas matemáticos o técnicas de investigación, elaboración de análisis de datos y evaluación de información, etc. : Métodos no paramétricosHabilidades avanzadas de SQL : capacidad para escribir consultas complejas para calcular métricas de prueba, detectar problemas de calidad de datos y realizar análisis pre / post programa habilidades fuertes en Python : competencia con bibliotecas estadísticas (scipy, modelos de estadística o similares) para el análisis experimental y simulaciónExperiencia con Snowflake o almacenes de datos en la nube similaresRécord de impacto : ejemplos donde sus conocimientos experimentales condujeron a cambios significativos en productos o negociosHabilidades excepcionales de comunicación : capacidad de explicar conceptos estadísticos como p-valores, intervalos de confianza y cálculos del tamaño de muestras a los interesados no técnicosPuntos de ventaja para : PhD con disertación centrada en las operaciones de diseño experimental, pruebas de causal e inferencias, o práctica aplicadaEstadísticas Exercidad con métodos experimentaciones rápidos en diferencias sintéticas, ensayos de control artificial, trabajos independientes de instrumentos, evaluaciones de producto, discursos internos o trabajo con otros. Esta es una oportunidad para tener un impacto enorme y trabajar detrás de escena de una de las compañías más exitosas que nunca has oído hablar.