1.정보봉사론-②정보봉사 평가(평가 개념, 목적, 필요성, 평가요소 설정, 평가유형, 평가기법)

Ⅱ.정보봉사 평가

1.평가의 개요

1.평가의 개념 : “목적 성취 정도를 가리는 것”

2.평가의 목적 : 현재 정보서비스의 수준을 파악하고 장차 그 수준을 향상시키기 위한 참고자료로 쓰기 위함

3.평가의 필요성 : ①현 서비스에 대한 상태나 수준 검토 ②장단기적인 개선책 마련을 위한 기초자료 제공 ③그 기관의 목적이나 목표를 개정 및 보완하기 위함

4.참고사서들이 측정과 평가를 꺼리는 이유 : ①양적인 평가가 쉽지 않음 ②통계에 의존하는 방식은 정보서비스가 과학이 아닌 하나의 예술이라는 의견에 어긋남 ③대부분의 참고사서는 통계적 기법 신뢰하지 않는 경향이 있음 ④정보서비스는 서비스 그 자체지, 평가대상이 아니라는 주장 ⑤업무부담

5.평가요소 설정

학자	말말말
William A. Katz	정보서비스의 다양한 요소에 대해 평가할 것(운영능력을 포함한 5~6개 정도)
Whitlatch	주로 질문과 해답의 관점에서 평가요소 제시
Lancaster(★) -거시평가에서도 나옴	사실형 질문의 답에 대한 평가에 한정하여 5가지 평가범주 제시 ①특정기간동안 접수된 참고질문의 총 건수 ②참고사서가 해결하고자 시도했던 참고질문의 수 ③참고사서가 해결한 참고질문의 수 ④해결된 참고질문의 정확률 ⑤한 이용자당 평균 참고질문 처리시간
Richard Bopp	3단계 구분 참고자원 평가(input)→참고조사업무 평가(output)→정보서비스 평가(성과)
Zweizig	재정적 측면을 포함한 6개 평가 영역 제시

6.평가유형(평가기법은 case별로 다르게 적용되어 크게 4가지 기준에 따라 구분할 수 있음)

평가기준	소개
평가대상자들의 평가 실시 인지여부에 따라	①공개조사법(obtrusive testing) -참고사서 본인이 평가받고 있다는 사실을 인지한 채 평가실시 -단점 : 호손효과로 인해 평소와는 다른 결과 낳을 수 있음 ②비밀조사법 -1964년 사무엘 로스타인이 도입 -평가받고 있다는 사실을 모르는 참고사서에게 즉답형이나 서지형 질문을 제시하여 평가하는 방법 -장점 : 신뢰성, 타당성 有 단점 : 윤리적인 문제, 고비용, 평가요소 제한 등 -평가 절차(순서가 중요_효율성 때문) 1)평가범위 설정 2)평가계획 수립 3)테스트 질문 개발 4)평가척도 고안 5)대리이용자 선발교육 6)실제 평가 실행 7)결과 분석 및 활용
평가 목적에 따라	①거시평가 -얼마나 잘 운영되고 있는지 평가 -랑카스타의 평가요소(질문 수, 응답 시도 비율, 해답 제공 비율, 정확하게 해답한 비율, 소요 시간) 적용 ②미시평가 -거시평가를 토대로 각 요인을 각각의 요소별로 분석, 진단 -미시평가 통해서만 현재의 서비스 수준을 개선하고 향상시킬 수 있음(★)
평가 대상에 따라	①실무차원의 평가 ②실험적 연구에 의한 평가
평가의 접근방법에 따라	①양적평가 -숫자위주의 평가 -키워드 : 통계, 정확성, 공정성, 수치, 객관적, 누적, 비교 등 ②질적평가 -인간적인 요인 등 다양한 요소 포함한 평가 -키워드 : 주관적, 해석적 등

7.평가기법

기법명	소개
통계작성	-가장 오래되고 간단한 양적 평가방법 (주로 샘플링법에 의한 데이터가 신뢰성이 높음) -종류 : 참고질문통계법, 회답율 측정법, 정해율 측정법 -장점 : 객관적 데이터를 기준으로 과거의 것과 비교 가능, 기존기록 사용가능 / 단점 : 타당성 문제 有
직접관찰법	-일반적인 자료수집 방법으로 탐색적 조사에도 활용됨 -과학적 조사방법으로서의 관찰법은 일상적 관찰과 구별되어야 함
설문조사법 (=질문지법)	-양적조사(main) + 질적조사(sub-) : 일반적으론 양적평가방법이지만 개방형 질문을 적절히 사용하면 질적평가도 가능 -표본집단을 대상으로 설문지를 통해 수렴하는 방식 -광범위한 영역에 걸쳐 짧은 시간 내에 객관적인 조사 가능 -장점 : 측정도구의 변화에 따른 오류 최소화, 결과 비교에 유용, 비교적 객관적·정확함 -절차(★) : 설문지 작성 목적 및 범위 확정→조사항목 선정→설문형식 선정→설문의 어구 구성 및 순서 배열→시험조사(pretest)와 편집 및 인쇄→설문지 적용 -설문평가 도구 ①SERVQUAL : 5점 척도(신뢰성, 유형성, 응답성, 확신성, 공감성)로 서비스 품질을 평가하는 설문도구 특정 서비스에 대한 이용자의 기대치와 체험 후의 인식치 차이를 측정하고 평가 거의 모든 분야에서 보편적으로 적용되는 평가도구 단점 -해석이 다양하게 나올 수 있음 -기대치와 인식치의 문항반복 -신뢰성 OK 그러나 타당성 완전치 못함.. ②LibQUAL+TM SERVQUAL 모형을 문헌정보학 분야에 적합하게 수정·개선한 온라인 설문도구 기대치, 인식치, 최저치 등 3가지 측면에서 리커트 9점 척도로 차이를 측정하여 평가하도록 함. -기대치 : 이용자가 원하는 수준 -인식치 : 도서관이 현재 제공하고 있는 수준 -최저치 : 이용자가 받아들일 수 있는 최저 수준 3가지 결정요인 범주 1)서비스 영향력 2)정보제어 3)도서관 장소 ③DigiQUAL -디지털 도서관 서비스 품질의 척도로, LibQUAL+를 수정하여 만든 평가척도
면담기법	-대표적 질적 평가방법 -보통 관찰 데이터의 보충자료로 쓰임 -설문지를 설계하는 초기단계에 유용하고, 특히 설문지에서 평가자가 다루기 원하는 문제를 정교화하는데 유용 -단점 : 많은 시간과 비용 소요 -많은 유형이 있는데 그 중 구조화 여부에 따라 구분해 보면, 구조화 면담과 비구조화 면담이 있음 ①구조화 면담 : 면접자가 인도하며, 질문은 미리 결정되어 있음 ②비구조화 면담 : 면접자와 피면접자 사이의 자유로운 대화 -고려사항 : 해답자로부터 동기유발 중요, 면담자의 심리적 영향력으로 의도가 파악되어 결과가 왜곡될 가능성 있음, 편견개입 -포커스집단(focus groups) : 특정 집단의 정보추구 패턴과 행동을 확인하는 좋은 방법으로 ‘집단 면접’의 형태로 이루어짐 ex: 장서관리 시 그 지역의 유지들이 모여서 면접하는 것
자기평가	-평가지침 미리 마련되어 있음
사례연구	-종래에는 주관적, 질적 연구에 치중된 것으로 평가하여 객관성, 엄밀성을 인정하지 않았지만 최근엔 사례연구가 양적연구의 속성을 동시에 지닌 종햡적 조사방법으로 인식됨 -사용되는 방법 : 설문조사, 인터뷰, 관찰
비용분석법	서비스에 들어가는 소요비용 파악
PPBS (Planning programming budgeting system)	계획한 프로그램의 달성에 들어간 비용중심
목표관리법 (MBO, Management By Objectives)	목표에 따라 인적 평가를 통한 효과점검
일별자료이용법	각 개인당 자료이용상황 측정
DVT (Derived Value Test)	기대된 서비스에 대한 실제적 서비스 결과 측정
실패분석법	이용자 만족에 실패한 원인 분석
문헌전달력 테스트법	도서관 자료공급능력 평가