승리한 배리언트 또는 개인화된 배리언트로 A/B 테스트 최적화

이메일, 푸시, 웹훅, SMS 및 WhatsApp 캠페인에 대해 한 번만 보내도록 예약된 A/B 테스트를 생성할 때, 최적화를 선택할 수 있습니다. 최적화 옵션은 두 가지가 있습니다: 배리언트 우승 및 개인화된 배리언트.

두 가지 옵션 모두 대상 세그먼트의 일부에 초기 테스트를 보내는 방식으로 작동합니다. 테스트가 끝난 후, 오디언스에 남아 있는 사용자에게는 가장 성과가 좋은 배리언트(승리 배리언트) 또는 그들이 참여할 가능성이 가장 높은 배리언트(개인화된 배리언트)가 전송됩니다.

위닝 배리언트

승리한 배리언트를 보내는 것은 표준 A/B 테스트와 유사합니다. 이 그룹의 사용자는 초기 테스트가 완료되면 배리언트를 받게 됩니다.

1. 배리언트을 선택한 다음, 캠페인 오디언스 중 몇 퍼센트를 배리언트 그룹에 할당할지 지정하세요.
2. 다음 추가 설정을 구성하십시오.

필드	설명
최적화 메트릭	최적화할 메트릭입니다. 이메일, 푸시, 또는 모든 채널에 대해 고유 오픈 또는 클릭 중에서 선택하거나 오픈을 선택하거나 주요 전환율을 선택하세요. Selecting Opens or Clicks to determine the winner does not affect what you choose for the campaign’s conversion events. 명심하십시오, 대조군을 사용하는 경우 대조군의 사용자는 열기 또는 클릭을 수행할 수 없으므로 대조군의 성능은 0로 보장됩니다. 결과적으로, 대조군은 A/B 테스트에서 이길 수 없습니다. 그러나 메시지를 받지 않는 사용자의 다른 측정기준을 추적하기 위해 여전히 대조군을 사용할 수 있습니다.
초기 테스트 시작 날짜	초기 테스트가 시작되는 날짜와 시간.
초기 테스트 종료 날짜	초기 테스트가 종료되는 날짜와 시간. 이것은 승리한 배리언트가 남은 사용자에게 전송될 때입니다. 사용자의 로컬 시간 또는 Intelligent Timing으로 보낼 때, 배리언트는 A/B 테스트 후 최소 24시간 후에 보내야 배리언트 그룹의 모든 사용자에게 전달됩니다.
폴백	통계적으로 유의미한 차이로 배리언트가 승리하지 못하면 어떻게 되나요. 최고 성능의 배리언트를 보내거나 테스트를 종료하고 더 이상 메시지를 보내지 않는 것 중에서 선택하십시오.

개인화된 배리언트

개인화된 배리언트를 사용하여 타겟 세그먼트의 각 사용자에게 가장 참여할 가능성이 높은 배리언트를 보내십시오.

각 사용자에게 가장 적합한 배리언트를 결정하기 위해 Braze는 사용자 특성과 메시지 선호도 간의 연관성을 찾기 위해 대상 오디언스의 일부에게 초기 테스트를 보냅니다. 사용자가 초기 테스트에서 각 배리언트에 반응하는 방식에 따라 이러한 특성을 사용하여 나머지 사용자가 각 배리언트를 받을지 여부를 결정합니다. 연관성이 발견되지 않고 개인화할 수 없는 경우, 나머지 사용자에게 자동으로 전송되는 것은 Winning 배리언트입니다. 개인화된 변형이 결정되는 방법에 대해 자세히 알아보려면 다변량 및 A/B 테스트 분석을 참조하십시오.

1. 개인화된 배리언트을 선택한 다음 캠페인 오디언스 중 몇 퍼센트를 개인화된 배리언트 그룹에 할당할지 지정합니다.
2. 다음 추가 설정을 구성하십시오.

필드	설명
최적화 메트릭	최적화할 메트릭입니다. 이메일, 푸시, 또는 모든 채널에 대해 고유 오픈 또는 클릭 중에서 선택하거나 오픈을 선택하거나 주요 전환율을 선택하세요. Opens 또는 Clicks을 선택하여 승자를 결정하는 것은 캠페인의 전환 이벤트에 대한 선택에 영향을 미치지 않습니다. 명심하십시오, 대조군을 사용하는 경우 대조군의 사용자는 열기 또는 클릭을 수행할 수 없으므로 대조군의 성능은 0로 보장됩니다. 결과적으로, 대조군은 A/B 테스트에서 이길 수 없습니다. 그러나 메시지를 받지 않는 사용자의 다른 측정기준을 추적하기 위해 여전히 대조군을 사용할 수 있습니다.
초기 테스트 시작 날짜	초기 테스트가 시작되는 날짜와 시간.
초기 테스트 종료 날짜	초기 테스트가 종료되는 날짜와 시간. 이것은 개인화된 변형이 나머지 사용자에게 전송될 때입니다. 통계적으로 유의미하고 의미 있는 결과를 보장하기 위해 기본적으로 24시간을 권장합니다. 테스트에 더 많은 시간을 할애할수록 더 많은 응답을 받을 수 있으며 Braze가 최적화할 수 있습니다. 이것은 특히 이메일 캠페인에 중요합니다. 초기 테스트는 개인화된 변형에 대해 4시간 이상 지속되어야 합니다. 사용자의 현지 시간 또는 Intelligent Timing으로 보낼 때, 개인화된 배리언트는 개인화된 배리언트 그룹의 모든 사용자에게 전달을 보장하기 위해 A/B 테스트 후 최소 24시간 후에 보내야 합니다.
폴백	개인화된 변형이 발견되지 않으면 어떻게 되나요. 대신에 Winning 배리언트를 보내거나 테스트를 종료하고 더 이상 메시지를 보내지 않는 것 중에서 선택하십시오.

분석

귀하의 A/B 테스트 결과를 최적화와 함께 알아보려면 다변량 및 A/B 테스트 분석을 참조하십시오.