Mejores prácticas para conectores a gran escala

Definimos una estrategia de conector a gran escala como aquella que produce más de 5000 Unidades de Trabajo en BWX por solicitud de sincronización. Una unidad de trabajo en BWX es una combinación de un archivo + paso de flujo de trabajo + par de idiomas. Por lo tanto, un proyecto con 5 archivos, 2 pasos de flujo de trabajo (traducción + revisión) y 5 idiomas resultará en 50 unidades de trabajo. Puedes ver cómo no es tan difícil superar las 5000 Unidades de Trabajo cuando comienzas a multiplicar estas variables. Es tentador querer centralizar todo en un solo proyecto, pero nuestra experiencia muestra que con conectores a gran escala, agrupar proyectos por par de idiomas es la mejor opción. Esto puede parecer simplemente una cuestión de cómo eliges definir un proyecto, pero va mucho más allá de eso. En este artículo desglosaremos el impacto de esta decisión en términos de:

1. Message Brokering
2. Resolución de problemas
3. Mitigación de riesgos
4. Colas/rendimiento
5. Potencial de automatización
6. Facilidad de gestión
7. Escalabilidad

Intermediación de mensajes1) La mensajería crece de forma exponencial con conectores a gran escala. Hemos visto conectores que crean más de 1 millón de mensajes por solicitud de sincronización. Esto resulta en una tremenda actividad del servidor y problemas de rendimiento que pueden ser mitigados dividiendo los proyectos por localización.Resolución de problemas2) Esto está directamente relacionado con la mitigación de riesgos. Pero en la localización a menudo vemos problemas que están restringidos a una localización específica y cómo afecta al análisis, segmentación y pre/post procesamiento de un conjunto de archivos dado. Al desmembrar entre localizaciones, puedes crear expresiones regulares específicas de la localización, reglas de procesamiento, segmentación que proporciona mucha más flexibilidad en cuanto a la arquitectura general se refiere. En lugar de trabajar restringido con soluciones que funcionan en general, puedes iterar según la ubicación y finalmente alcanzar un patrón de comportamiento más maduro y predecible cuando trabajas según las ubicaciones. Mitigación de riesgos3) Al desacoplar los proyectos en uno por ubicación, mitigarás los riesgos de gestión porque si algo sale mal en una ubicación determinada, eso no significa que todo el mecanismo de solicitud de extracción/entrega esté comprometido. Puedes aislar y naturalmente compartimentar los problemas. Esto puede no parecer importante durante el procedimiento operativo estándar, pero cuando surgen problemas inesperados (y siempre surgen en la localización), estarás agradecido por haber construido una casa de ladrillos en lugar de una hecha de paja. Colas/Rendimiento4) En lugar de alinear 150,000 elementos para su procesamiento, por ejemplo, puedes alinear 15,000 elementos diez veces. De nuevo, esto no parece una gran diferencia ya que al final tendrás que procesar los mismos 150,000 elementos, pero tener la flexibilidad de procesar de forma secuencial, en paralelo u oportunista te brinda mucha más flexibilidad y ancho de banda de rendimiento. Potencial de automatización5) Típicamente, las decisiones y flujos de trabajo del proyecto serán asimétricos en diferentes ubicaciones. Separar los proyectos por ubicación te brinda una flexibilidad mucho mayor en cuanto al potencial de automatización a largo plazo. Puedes tener un escenario en el que tengas parámetros completamente diferentes, así como conjuntos de datos, cuando se segregan por lugar en lugar de consolidar todos los elementos juntos.Gestión6) Esto también es contrario a la intuición. Desde una perspectiva de gestión, típicamente la consolidación es la mejor práctica para una mejor gobernanza. Puede haber un escenario en el que tenga parámetros completamente diferentes, así como conjuntos de datos, cuando se segregan por localización en lugar de consolidar todos los elementos juntos. Esto también es contrario a la intuición desde una perspectiva de gestión. Por lo general, la consolidación es la mejor práctica para una mejor gobernanza. Pero en conectores a gran escala, ocurre lo contrario. Un proyecto filtrará naturalmente por localización, lo que permitirá que diferentes gerentes de proyecto sean propietarios de diferentes partes del proyecto con mayor facilidad, reduciendo el uso de filtros para generar informes y creando una mayor simplicidad en cuanto al seguimiento de lo que está sucediendo por localización. Con conectores a gran escala, llegará un punto en el que simplemente se vuelve inmanejable escalar agrupando todas las unidades de trabajo en un solo proyecto. Un proyecto filtrará naturalmente por localización, permitiendo que diferentes gerentes de proyecto sean dueños de diferentes partes del proyecto de manera más fácil, reduciendo el uso de filtros para generar informes y creando una mayor simplicidad en cuanto al seguimiento de lo que está sucediendo por localización. Escalabilidad7) Con conectores a gran escala, llegarás a un punto en el que simplemente se vuelve inmanejable escalar agrupando todas las unidades de trabajo en un solo proyecto. Al separarlas, estableces el marco para un programa que es más fácil de escalar a largo plazo. Recuerda que las cosas se multiplican cuando se trata de unidades de trabajo y mensajes. Al separar por localización, eliminas una de las variables de multiplicación más grandes, lo que te permite escalar más fácilmente. Conclusión: Existe una ilusión de que la consolidación es mejor. Un pull-request por proyecto facilita la vida de todos. Aunque eso es cierto para los conectores a pequeña escala, se desmorona en los de gran escala. Nuestro objetivo siempre es ofrecer soluciones elegantes y confiables a nuestros clientes, y una y otra vez hemos visto que en situaciones de gran escala, la división y conquista es el camino a seguir.

Consolidación en un solo proyectoSeparación por localizaciónEl proyecto completo tiene un estado de 0 o 1El estado puede ser estratificado por localizaciónAnálisis, filtrado y marco de RegEx singularMarco flexible por localizaciónColas de un solo carril por proyectoColas y procesamiento flexibles que distribuyen naturalmente el procesamientoFiltrado por localización dentro del proyectoUn paso de filtrado menosReglas de automatización que funcionan en generalParámetros y datos de automatización específicos de la localizaciónTodos los huevos en una sola canasta desde una perspectiva de riesgoRiesgo distribuido en las localizacionesComplejo de aislar y solucionar problemasUn factor de variabilidad menos que facilita la solución de problemas