定性的な評価を入れる場合のACのやり方

twitterのこぴぺです。読みづらかったらご了承下さい。

定量的な評価だけで決めるべきというスタンスではなく、定量的・定性的にジャッジブレイクを決めよう！と考える場合のACの場合どのような風にジャッジブレイクを決めればいいのでしょうか。リクエストがあったので書きたいと思います。

まずジャッジテストを採点します。当然ですが、コンフリクトがないAC２人等複数人で採点しつつ、（もし可能ならブラインドにし誰が書いたのかわからない状況にして採点）、大きな触れ幅があれば３人目のACが見ます。それをもとに点数ランキングをつくります。

(1)部屋数を計算し、何人チェアーが必要か計算します。(2)ブレイクラウンドが何部屋あるかを元に、ジャッジブレイクのだいたいの人数の目安を議論します。(3)必要に応じて、Shadow ACのように、信頼できるジャッジをACでコンセンサスをとります。

(1), (2)を元に、おそらくブレイクかブレイク落ちのボーダーになるのではないだろうかという人を最初に大体目安をつけます。大きめにとることが重要です。このあたりを「要チェックリスト」人員とします。

「要チェックリスト」人員をACが見ていきます。（R1から見たほうがいい場合は見ます）。そして、この「要チェックリスト」は適宜ディベーターからのフィードバックや点数を確認しながらアップデートしていきます。

必要に応じて「要チェックリスト」を絶対みたい、できれば見たいに分けたり、再チェックリストをつくったりする工夫もできます。経験則上、それを４ラウンド繰り返すと、少なくともBPでは大体の場合ボーダーになる人には定性的評価が存在することが多いです。

また、定量的な評価ともトレードオフにならず、あえてAC等がパネルにまわってディベーターの点数をみることもできます。また、トップルーム等難しい部屋も見れるかの確認もできます。

他にも色々な工夫の仕方などはあると思いますが、定性的な評価も含めたACを行いたいというのはこういった工夫を施すことがあります。他もあると思いますが。海外だと、HKDO 2012だとか、Australs 2014とかがやっているみたいです。


<補足>すみません、かなり大事なことを失念していました。定性的な評価を入れても、個人的には定量的に点数が高い人は絶対ブレイクさせます。トップ１０人とか、２０人とか、事前に決めてありますが。定性的評価が入りうるのはボーダーだというニュアンスです。