E2E · 佔總分 25% · 自由參加
聲音入、聲音出,計住時間。唔係睇每個零件做唔做到嘢,而係睇成件事夠唔夠令人願意繼續講落去。
人人都話 300 毫秒以內覺得係即時,但係冇人知道咁樣係點。撳一行聽下:客人講完,個等待照真實速度行一次,跟住系統先開口。每次都係同一句說話——變嘅淨係嗰段靜。
用第 95 百分位評分,唔用中位數:一個平時好快、間中要 2 秒嘅系統,用起上嚟就係一個慢嘅系統。
由來電者最後一格語音離開我哋個 socket,計到回覆第一個位元組到達為止。只用我哋自己嘅單調時鐘——參賽者提供嘅時間戳一律不予採信。公布時會同時列出實測網絡來回時間,令伺服器所在地一目了然,而唔係暗中得益。
由人手評分員評整段對話。輪流講嘢順唔順。你會唔會放心將一宗索償交畀佢。
每個情境最後一輪,來電者都會喺系統講緊嘢嗰陣插嘴。我哋量度佢之後仲講咗幾耐,五百毫秒之內收聲就當作讓出。協議入面冇任何一句叫佢停——如果叫咗,量度到嘅係佢遵唔遵守我哋嘅通訊格式,而唔係佢似唔似一個真人講電話。
一段六十秒嘅錄音,由講完到回覆第一個位元組,最多容許 30000 毫秒。呢個時限同時係防作弊機制:時間太短,短到唔可能夠人手聽住打返個文字稿出嚟。