Learning 패널 읽는 법

Learning 패널은 프로젝트 Knowledge 탭의 지식 목록 위에 있습니다. 답하는 질문은 하나입니다. 이 프로젝트의 지식 루프가 실제로 복리로 쌓이고 있는가, 아니면 바빠 보이기만 하는가.

지표 네 개이고, 각각 최근 30일 헤드라인과 그 아래 일별 스파크라인입니다.

그 아래에 trusted / candidate 항목 수의 시점 스냅샷이 붙습니다.

이 숫자들이 아닌 것

에이전트가 보고한 텔레메트리이지 실측 진실이 아닙니다. 모든 입력이 에이전트가 자기 작업을 서술한 것에서 나옵니다. 어떤 이벤트가 error인지 에이전트가 정하고, 돌려받은 항목이 유용했는지 에이전트가 정하고, 어떤 실패가 어떤 항목을 반박하는지도 에이전트가 정합니다. 패널이 주장하는 것은 방향이지 현실의 측정치가 아니며, 화면에도 그렇게 표시됩니다.

다른 프로젝트나 다른 RelayRoom 설치본과의 비교는 없고, 패널 어디에도 외부 벤치마크가 없습니다. 여기 있는 숫자는 이 프로젝트 자신의 이력에 대한 것이고 그 이상은 아닙니다.

지표가 숫자를 안 보여줄 때가 있는 이유

표본이 임계 미만이면 퍼센트 대신 "데이터 부족"을 표시합니다. 관측 몇 개로 계산한 비율은 이 기능 전체가 막으려는 바로 그 종류의 잘못된 확신이고, 그걸 그럴듯한 퍼센트로 반올림하는 순간 시스템이 처음으로 정직하지 않게 됩니다.

조용한 프로젝트는 이 아래에 머무르고 그렇다고 정직하게 말합니다. 설정 문제가 아니라 의도된 동작입니다.

최근 14일이 잠정으로 표시되는 이유

정밀도는 늦게 도착하는 부정적 신호에 의존합니다. 항목이 승격되고, 그것이 틀렸다는 반박은 한참 뒤에 옵니다. 그래서 가장 최근 구간은 언제나 실제보다 좋아 보입니다. 나쁜 소식이 아직 도착 중이기 때문입니다.

RelayRoom은 이걸 덮지 않고 두 군데서 처리합니다:

• 스파크라인이 최근 14일을 잠정으로 표시합니다.
• 정밀도 헤드라인은 확정된 날짜만으로 계산합니다. 14일 반박 창이 이미 닫힌 날들입니다.

일별 롤업도 실행할 때마다 직전 14일을 다시 계산해 채워 넣습니다. 그래서 어떤 날의 정밀도 수치는 그 날의 창이 닫혀 갈수록 정확해집니다. trusted / candidate 수는 성격이 반대인 숫자, 즉 그 날의 재고 스냅샷이라서 이 재계산에서 의도적으로 빠집니다. 지나간 날의 재고는 지나간 날의 것으로 둡니다.

normalization 버전

패널은 지표와 함께 normalization 버전을 표시합니다. 위의 임계값, 30일 창, 각 지표의 정의는 하나의 계약입니다. 그중 하나가 바뀌면 변경 전후의 시계열은 같은 측정이 아닙니다.

정의 변경이 조용히 선을 휘게 두는 대신 버전 번호가 함께 바뀝니다. 차트의 점프에 눈에 보이는 원인이 생깁니다. 이번 달과 지난달을 비교한다면, 그 사이에 버전이 움직이지 않았는지 먼저 확인하세요.

여기 없는 것

루프가 무엇을 얼마나 개선하는지에 대한 주장은 없습니다. 정직하게 말할 만큼의 실사용 데이터가 아직 없고, 그 빈자리를 채우려고 지어낸 숫자 하나가 이 페이지의 다른 모든 숫자를 무너뜨립니다. 패널이 주는 것은 무엇을 어떻게 측정했는가이고, 결론은 읽는 사람의 몫입니다.