総括/歯科技工士資格試験における技術評価等に関する研究

考　察1)本研究実施の背景歯科技工士資格試験は歯科技工士として必要な知識および技能について行うこととし(歯科技工士法　第3章　第11条)、試験は厚生労働大臣が毎年少なくとも1回行い、試験に関する事務は政令の定めるところにより都道府県知事が行うことができる(歯科技工士法　第3章　第12条)。現状は歯科技工士学校養成所の設置されている都道府県において毎年2月から3月の間に行われている。試験内容については歯科技工士法第2章第8条に基づき8科目(歯科理工学、歯の解剖学、顎口腔機能学、関係法規、歯冠修復技工学、有床義歯技工学、矯正歯科技工学、小児歯科技工学)と実地試験(歯科技工実技・実技試験)で、出題基準は歯科技工士養成所教授要綱を参考に作成される。この歯科技工士試験出題基準においては科目ごとに出題方針を提示し、範囲を定め、各範囲ごとに大項目、小項目に分類している。さらに出題基準は正しく理解され、各都道府県の試験委員よって活用されることによって試験が妥当な範囲と適切な水準で行われることを期待すると結んでいる。しかし、現在の実施されている歯科技工士資格試験の実態は平成13年度厚生労働科学研究「今後の歯科技工士に対する養成方策等に関する総合的研究　主任研究者:渡辺嘉一」でも明らかなように、試験の実施時期、学説試験と実地試験の順序、受験会場の条件、受験費用、試験時間、出題形式、問題数など多くの点で地域差があり、バラツキが大きい。実技試験においては、総義歯排列(2時間30分)、歯冠彫刻(1時間、2歯分)と任意問題(2時間)が行われ、特に任意問題においては8課題のなかから1題のみ出題される。そのために資格試験受験に要する模型の数、その製作に要する時間と労力は、本来行われるべき歯科技工技術教育において大きな支障をきたしているのも事実である。平成13年9月に報告された「歯科技工士の養成の在り方等に関する検討会意見書」にも述べられているように、現状の歯科技工士資格制度における実技試験は、重要な技能評価法であり、今後の技術革新の流れを踏まえて、調査研究を進めるべきであるとし、さらに同作業委員会の意見書においては、歯科技工士教育が歯科技工士試験によって左右されるのは本来の目的から逸脱するものであり、歯科技工士教育に結果的に影響を与えることとなる実技試験を現在の形態で引き続き行う必要性に対して疑問を示す意見もあるが、歯科技工士の業務を踏まえる限り、実技試験の存続を図ることができるよう努力すべきである。ただし、実施にあたっては歯科技工士の国家試験としてふさわしい客観的な評価法が担保された試験とする必要があり、実技試験としての評価を適切に行うための指標開発と具体的な実施方法や客観的な採点基準、出題内容などについて詳細な調査研究を行い、実施手法を確立する必要性を説いている。国民に良質な歯科医療を安定的に提供するにあたって、質の高い歯科補綴装置を提供することは極めて重要で、その製作を掌る歯科技工士の資質を向上するためには歯科技工士資格試験の全国統一化を図ることは必然であり、国家試験にふさわしい実施方法や出題内容および評価方法などの条件整備が急務である。また、平成14年度には歯科医師臨床研修に望む歯科医師の技術能力の格差を是正するとともに今後の歯科医師臨床研修の円滑な実施を図り、より質の高い歯科保健・医療を国民に提供する環境の整備と現行の筆頭試験を補完するための技術能力評価試験の導入を目的に「歯科医師国家試験の技能評価等に関する検討会」が設置され、このたびその結果が公表され、技術能力評価試験の出題範囲、試験内容については具体的詳細に示されているものの、その評価方法に関しては「一定レベル以上の経験を有している複数の評価者が行うべきである」にとどまっている。医療関係職種のなかでも特に歯科医療においては技能領域の重要性が高く、従来から技能評価としての実技試験の方法や評価法については議論されているが、採点評価結果は評価者の知識や経験による主観的要因が多く含まれることから最近ではコンピュータシステムを応用した評価法も開発、検討されているが、年間2500名の歯科技工士資格試験受験者に対応するには「経済性」「効率性」などの点でまだまだ解決しなければならない問題点も多く、また歯科補綴装置の製作においては単に形態や寸法精度の評価だけではなく、専門家による感性も必要であると考える。また、情報公開の流れを受けて受験者に対しては試験結果の公表も考慮しなければならない。このような観点から複数の専門家による客観的評価法の確立が望ましいと考え、本研究においては、歯科技工士資格試験の実技評価を行うにあたって客観的評価法の妥当性について多方面から検討した。2)研究方法について①受験生および試験用模型・試験課題について本研究を実施するにあたっては、歯科技工士資格試験の受験を間近に迎える歯科技工士学科2学年学生および受験を終えた直後の専攻科(実習科)1学年学生のうちから、全国歯科技工士教育協議会の協力のもと本研究の主旨、必要性を十分理解できる学生120名を抽出した。なお、試験成績と平素の学内成績について検討するために受験した学生についてはあらかじめ平素の成績をA(成績上位),B(成績中位)およびC(成績下位)にランク付けしたが、試験結果や評価結果に影響することを避けるために受験者および評価者には告知していない。今回の資格試験は、「経費面」および「設備面」を考慮して各受験者の所属する歯科技工士専門学校実習室で行い、本研究の主旨を理解している各学校の専任教員が試験説明および試験監督を行った。今回の試験用模型を策定するにあたっては、従来から行われている歯冠彫刻、総義歯排列(歯肉形成含む)および任意問題の出題内容および方法について再検討し、実施時間や出題傾向などを考慮したうえで、なおかつ実技試験のための準備が歯科技工士学校の教育に負担過剰にならないことを配慮して製作した。すなわち従来の歯冠彫刻は、より臨床的配慮に基づき上顎大臼歯全部鋳造冠蝋形成を取り入れ、義歯排列については咬合および審美的な要素を考慮して上下顎前歯部の人工歯排列と歯肉形成、任意問題として出題されていた試験内容からは部分床義歯を取り上げ、口腔内で喪失率の高い下顎第二小臼歯および第一大臼歯欠損症例における鋳造鉤蝋形成、線鉤屈曲の異なったテクニックの技能を評価することを前提にした。平成14年度「厚生労働科学研究　今後の歯科技工士の養成方策等に関する研究」で行ったアンケート調査では従来とおりの総義歯排列や歯冠彫刻の必要性を唱える意見も多かったが、資格試験のための準備や時間的制約などを考慮した場合、今回策定した模型に集約せざるを得ないと考えた。今後は資格試験として統一化を図る場合、他の症例などを組み合わせて、歯科技工士としての基本的技能を諮るにふさわしい試験用模型が試験当日受験者に提供できるよう配すべきであろう。なお、今回の試験用模型製作にあたっては、画一的な模型を多量に提供する必要性から専門の製作業者に委託したが、1回限りの試験、経済性などを考慮して上下顎模型を簡易咬合器に付着したため受験者および評価者から咬合位の不安定、模型後方からの視認不可、模型の扱いにくさなどが指摘された。さらに試験問題として「歯科技工指示書」に基づいて出題したが、受験生の理解度が乏しく、歯科技工士教育における歯科医師との臨床的な情報交換の方法についての必要性を痛感した。3)評価結果について①評価法について評価法として概略的評価法と細分化評価法とを取り上げ、4校の歯科技工士養成機関において被験者120名について模擬的実技試験を実施し(1)概略的評価と細分化評価の相関、(2)概略的評価と細分化評価の構造的解析、(3)両評価の所要時間について検討した。受験者120名が行った4試験課題の答案を評価者4群28名がそれぞれ2つの評価法で評価したので大きなデータ群が得られた。データの正規性の判定において、総合計評価点は正規確率プロットにより正規性を仮定しうるデータであることが確認された。以後、正規性を前提とした解析を試みた。素データは離散量であるが、多項目、多評価者の評価結果を加算することにより近似的に連続量となり、また大標本数のデータであることから中心極限定理により、正規分布を前提とした解析法によっても定性的な誤りはないと考えられた。ノンパラメトリック手法は、順位列データに対する解析手法であることから4段階評価列に対する適用が困難であり、また数量化理論では4段階評価を0、1評価列にする際に情報量が減るため今回の解析に適用しなかった。評価者群間の比較は平均値の差の検定により行った。行、列とも要因によって分類に水準化がなされていないため、かつ1被験者ごとに全評価者28名の評価を比較する必要があることから、従属2標本のt検定を用いた。概略的評価と細分化評価の相関において、散布図は受験者数が120名と大標本であったため、検出力が極めて高かった。概略的評価と細分化評価は、評価時のばらつきの性質は異なるものの回帰直線をもとめてデータを全体としてみると、両者はよく一致していた。概略的評価と細分化評価の構造的解析においては、受験者120名の各試験課題の概略的評価と細分化評価との関係を、概略的評価を従属変数として各々の評価者について重回帰分析を行った。各評価者群が概略的評価にあたって主点をおいた評価項目が明らかとなり、評価者群内のばらつきの原因が明確になった。概略的評価においては評価者第3群以外の各評価者群は同様の評価値に収斂するのに対し、細分化評価においては個々の評価項目に関する評価の差が合計することにより拡大したため総合計評価値が発散し、すべての評価者群間の相違が検出された。評価方法と評価一致度および評価項目と評価一致度の間にはかなりの交互作用があると考えられた。評価の所要時間は、概略的評価においては細分化評価の約50%の短時間で評価が可能であり、かつ、ばらつきが小さいことが明らかとなった。以上の結果は、実技試験の評価においては概略的評価法を採用することが妥当であることを示しているものと考えられた。②評価者について4群の評価者群、すなわち第1群大学教員(9名)、第2群歯科技工士学校教員(9名)、第3群臨床歯科医師(5名)、第4群臨床歯科技工士(5名)計28名による概略的評価と細分化評価を実施し、評価者群間の比較を行った。また、6名の評価者により同一模型の繰り返し2回の概略的評価を実施し、評価者内ばらつきの検討を行った。評価者群間の比較においては、概略的評価では評価者第3群以外の各群は同様の評価値に収斂するが、細分化評価では総合計評価値が発散しすべての評価者群間の相違が検出された。各試験課題の概略的評価における評価項目ごとの標準回帰係数から、評価者第1群および第2群では、評価項目1～5のすべてを均等に考慮した評価が行われたことを示していた。これに対して評価者第3群および第4群では、概略的評価がある特定の評価項目に依存する傾向が強く、しかも依存する評価項目が評価者個人によって異なることを示していた。評価者第1群および第2群では、すべての試験課題にわたって第3群、第4群に比較してばらつきが少なかった。測定精度を評価する際用いられるCV値によって群間比較による評価者群内の評価の一致度を検討した結果は、試験課題1(全部鋳造冠蝋形成)に関しては、評価者第3群が極めて大きなばらつきを示した。また、試験課題2(人工歯排列・歯肉形成)および試験課題3(鋳造鉤蝋形成)に関しては評価者第3群および第4群のばらつきが大きく、第1群および第2群に対して有意の差が検出された。試験課題4(線鉤屈曲)に関してはすべての評価者群間で相違が小さく、よく一致した評価を示した。試験課題1の全部鋳造冠蝋形成においては、評価項目1の概形態に対してはいずれの評価者も評価の重要度が高く、評価者群間のばらつきも少ないが、評価項目5の表面仕上げについては評価者第4群の臨床歯科技工士において評価の重要度が他の評価者群に比べ高い。しかし、いずれの評価者も全部鋳造冠蝋形成の評価にあたっては評価項目の重要度の傾向はほぼ同様であった。試験課題2の人工歯排列においては評価項目2の歯軸傾斜に対して評価者群のばらつきは少ないが、評価項目1の歯列弓形態では評価者群のばらつきが比較的大きい。また、評価者第3群に評価においては特定の評価項目に対する依存が少ない。試験課題3の鋳造鉤蝋形成においては評価者第1群と第3群の歯科医師群で評価項目3の形状(断面形態)に対する評価の重要度が高く、評価項目4のレストの状態に対する評価では評価者群のばらつきは少ない。試験課題4の線鉤屈曲においては評価者第3群では評価項目3の屈曲の状態(キズ)、評価者第4群では評価項目1の設計線に対する忠実性の重要度がそれぞれ高かったが、概して4つの評価者群における各評価項目に対する評価のばらつきはきわめて小さく、線鉤屈曲の評価においては各評価者群の重要度はほぼ同じような評価項目であった。以上のように、全部鋳造冠蝋形成および線鉤屈曲は、各評価者群における評価項目の重要度はほぼ同程度であることから試験課題として評価の安定性が得やすい内容であると考えられる。評価者個人内のばらつきに関しては、概略的評価を2回繰り返した6名の評価者中2名の評価者において一部の試験課題で繰り返し評価値が一致していたが、その他の評価者では試験課題によって一致あるいは不一致があり、全体として繰り返し測定においては評価値が一致しにくい結果が得られた。これは大標本の高い検出力によるところが大きいと考えられる。しかし、2回の測定における評価値の平均値の差は最大値で12.7であり、評価1ランク未満(25点未満)であったので判定に大きな影響を与えるようなばらつきとはいえないと考えられる。以上のごとく、各評価者群は、評価精度、評価所要時間等において特性があった。すなわち、評価者第1群および第2群は、(1)細分化評価においてすべての試験課題にわたって評価項目1～5のすべてを均等に考慮した評価をおこない、かつ、ばらつきが少ない。(2)概略的評価における評価精度が他の群より良好である。(3)評価所要時間は、短時間であり、またばらつきが少ない傾向にある。これに対して評価者第3群および第4群は、(1)概略的評価においてすべての試験課題にわたって特定の評価項目に依存する傾向にあり、かつ、ばらつきが大きい。(2)概略的評価における評価精度は試験課題によって異なるが、概してばらつきが大きく他の群より劣る。(3)評価所要時間は、比較的長時間の傾向がある。評価者第1群と第3群は、また評価者第2群と第4群は各々の評価項目において同様な評価を行っていた。評価者第1群および第2群のこのような特性は、大学または歯科技工士学校の教育職であり、日頃から評価に熟練していることに起因すると考えられる。特に、第2群は歯科技工士養成を担当しているため実技試験評価においても均衡のとれた良好な評価を行うことができたものと考えられる。評価者第1群と第3群および評価者第2群と第4群の類似した評価特性は、歯科医師、歯科技工士という所属背景が関係しているものと推定される。実技試験の評価者の選定にあたっては評価者の特性の理解が重要である。また、評価実施にあたっては、全評価者、特に第3群および第4群の評価者については事前に評価に必要な評価項目について十分な理解とトレーニングを得ることが重要である。評価者個人内のばらつきに関しては、2回の測定における評価値の平均値の差は最大値で12.7であり、評価1ランク未満で大きな影響を与えるようなばらつきとはいえないと考えられるが、合否基準策定においてはこのばらつきの範囲を十分考慮する必要があると考える。③合格基準について2つの合格基準、すなわち総合計評価点240点以上合格および各試験課題の評価値に25点があるとき不合格、を模擬試験結果に適用した場合の不合格率について検討した。合格基準を総合計評価点240点以上としたときの不合格率は、評価者第1群、第2群、第3群および第4群の評価において17.5、23.3、31.7および14.2%で、評価者群で著しい差があった。このことは評価者の評価に対する基準がそれぞれ異なり、評価者の選定および評価レベルの確認を的確に行う必要性を示している。一方,合格基準として、各試験課題の評価値に25点があるときを不合格とする基準を採用した場合の不合格率は、評価者第1群、第2群、第3群および第4群の評価において、それぞれ16.7、15.8、27.1および12.3%であった。各試験課題について120名の受験者における25点評価点の頻度を調べると、25点を獲得した受験者のうち62.8%の受験者が評価者28名中の1名のみによる25点採点であった。このことはこの基準を運用するにあたって、複数の評価者による再評価が必要であることを示唆している。この基準による不合格者の総合計評価点の中には、240点以上である受験者があったため、25点の評価点があるため不合格となった受験者と総合計評価点240点未満で不合格となった受験者とは必ずしも一致しなかった。2つの合格基準ともに合格率が比較的低い結果となった。これは受験者の大部分が歯科技工士学科(本科)2年生の第2学期に模擬的実技試験を行ったためで、2年生修了時の学力に十分達していなかったためと考えられる。従って今回の低い合格率をもって実技試験問題のレベルを下げることを検討する必要はないと考えられる。④実技試験評価と学内成績との関連につい　　　て受験者の学内成績は、所属する4校の歯科技工士養成機関が同一基準で定めたものではない、また、学内成績はすべての学科目の総合成績であり、模擬的実技試験評価と比較することが基本的に困難であるが、各養成機関の申告にしたがった歯科技工士学科(本科)学生および歯科技工士専攻科(実習科)学生の、それぞれの成績上位、中位、下位に属する各受験者について概略的評価の総合計評価値と受験者の学内成績の関係を評価者群別ヒストグラムおよび各2群の評価値のt検定により比較した。歯科技工士学科2年生では学内成績上位の学生の評価値は中位および下位の学生より高点であったが、成績中位と下位の学生の評価値の間には有意の差が認められなかった。歯科技工士専攻科では学内成績上位の学生の評価点が中位、下位より高点とする評価者群があったが、3者に評価値の間には有意の差が認められなないとする評価者群もあった。歯科技工士学科2年生と歯科技工士専攻科の受験者全体の評価値は、いずれの評価者群ともに歯科技工士専攻科学生に高い評価値をつけていた。学内成績と模擬的実技試験合格率とは必ずしも平行していなかった。特に、歯科技工士学科の学内成績下位の受験者の不合格率は中位のそれより低かった。したがって学内成績で資格試験の評価は困難であり、実技試験による評価の重要性が明らかとなった。4)アンケート調査結果について評価者に対する評価・採点時間の感想は,概略的評価は時間がかからなかったが,細分化評価には90%以上の評価者は時間がかかったとし、評価結果の分析と一致する.概略的評価においては評価者のこれまでの経験と知識によって各試験課題の作品を総覧的に、主観的に観察することができるために所要時間も短く感じたものと考える。また,概略的評価では4つの試験課題が1つの模型に集約されているために、1課題の評価は次の課題の評価に影響を及ぼすと考える.細分化評価ではそれぞれの試験課題において5つの評価項目を設定しているために、丁寧に観察する必要があり,さらに設定した評価項目の重み付けを評価者自身が決定するため,多くの時間を要したと考える.試験時間に対する受験者の反応は,概して適切であると解答したが,個々の試験課題については短いあるいは長いと判断している。特に人工歯排列では歯肉形成まで完成するためには2時間30分が必要とする受験生もいる。試験問題の内容についての多くのコメントは、出題された歯科技工指示書の見方,内容などに関するもので,歯科技工士教育のなかで十分教示する必要性がある.試験課題について,人工歯排列の臼歯部咬合の必要性を訴えるコメントもあり,現在資格試験で総義歯排列が必須化されているなかで、その必要性は認めるものの全国統一された場合の実技試験の実施方法や評価方法あるいは経済的な面などを鑑みた場合、前歯部または片側臼歯部の排列と歯肉形成が妥当と考える.実際の運用面にあたっては、部分的な欠損症例をいくつか準備する必要があると考える.試験に用いた模型については、評価者および受験者ともに「適切でない」と解答したものが多かったが,ほとんどが咬合位の不安定さ,舌側・後方からの視認性の悪さなどを指摘しているが、今回製作した模型においては咬合関係の必要性、試験当日模型(試験問題)を配布し資格試験のみに使用することなどの経済性から、最も簡易な半透明性のジョイント部を有する咬合器に装着した。また、歯や歯槽部の形態、人工歯の大きさあるいは可撤式歯型など、個々に改善すべき問題もある。