평가조사

1. 평가조사
1) 평가 조사 개념
개입기술과 프로그램이 본래의 목적에 맞게 수행되었는지 그 효과성을 측정하는 응용 조사임

평가 조사의 평가대상에는 개인, 집단 프로그램, 기관 및 조직체 등이 포함될 수 있으나 개인 또는 집단에 대한 개입의 효과성을 평가하는 조사를 단일사례연구조사라 부르는 것이 일반적이고, 프로그램이나 기관 및 조직체의 효과를 평가하는 조사를 사업 평가조사라고 함

평가 조사는 기본 조사와 방법론상에 있어서 다음과 같은 공통점이 있음
평가 조사와 기본 조사 모두 조사연구의 목적과 관련하여 가장 적합한 자료수집방법을 사용할 수 있음(면접법, 질문지법 등 조사목적에 맞게 다양한 자료수집방법을 사용할 수 있음)
평가 조사와 기본 조사 모두 변수간의 인과관계를 규명하는데 초점을 둠
의 개념과 목적

2. 평가조사의 목적
정보제공이 목적이 있음. 평가는 프로그램의 유지, 중단, 축소, 확대 여부를 결정하는데 필요한 정보를 제공하며, 프로그램의 보다 효율적인 운영을 위해 필요한 정보를 제공 함
기관운영의 책임성 이행의 목적이 있음. 예산을 포함한 인적, 물적 자원을 목적에 맞게 사용하였는지, 기관의 목적을 얼마나 달성하였는지 등에 대한 효율성과 효과성을 평가하여 책임성 이행의 근거를 마련함
이론형성에 기여함. 프로그램의 실시 전후 차이를 비교하여 프로그램이 어떤 영향을 미쳤는지 평가함으로써 인과관계를 검증하여 이론화할 수 있음
진행과정의 개선에 목적이 있음. 평가조사 중 형성평가의 경우 프로그램 계획과정을 평가하여 프로그램을 개선함으로써 보다 나은 프로그램이 될 수 있는 근거가 됨
자원의 합리적 배분을 위해 실시함. 평가결과를 토대로 효과적인 프로그램과 그렇지 못한 프로그램을 선별하여 자원을 차등적으로 할당하는 근거로서 활용됨
서비스 전달체계를 개선하는 목적으로 실시함. 서비스가 전달되는 과정을 평가하여 클라이언트에게 서비스가 본래 목적대로 진행되지 않거나 접근성이 어려워서 제대로 전달되지 않는 경우 이를 시정하여 원활하게 이루어지도록 함
새로운 프로그램의 개발을 위한 검토를 목적으로 실시함

3. 평가 조사의 종류
평가 조사는 그 목적에 따라 종류가 다양함
평가를 실시하는 목적 및 방법, 평가하는 주체, 평가규범, 평가대상, 평가시점 등을 중심으로 구분됨
평가목적 및 방법에 의해서는 성과평가, 형성평가, 효율성 평가, 과정평가, 투입자원평가 및 질적 평가로 분류됨
평가주체에 따라 자체평가, 내부평가, 외부평가로 구분됨
평가 시점에 따라 사전평가와 사후평가로 분류 됨

1) 성과평가
시행된 프로그램이 의도한 목표를 결과적으로 만족시켰는지, 프로그램으로 인해 뜻하지 않은 역효과는 없었는지를 평가는 것
성과평가는 프로그램 목표의 성공 여부를 진단하는 것이기 때문에 프로그램의 목적과 직접적으로 연관된 실제적 변화가 무엇인지를 파악하는 것이 중요함
프로그램의 목표는 단기, 중기, 장기로 구분될 것이므로 프로그램 시행으로 인해 즉각적으로 생기는 변화, 중반에 생기는 변화, 궁극적으로 프로그램에 의해 생기는 변화에 대한 측정이 이루어져야 함

1) 성과평가
목표달성을 평가하는 방법론에 대한 비판적인 시각?
첫째, 프로그램의 목표와 목표달성지표를 결정하는 것이 잘못 될 수 있음(프로그램의 목표가 정치적인 이유나 프로그램 자금 등의 이유로 과장되게 설정되는 경우 부정적인 평가의 결과로 이어지기 때문에 목표달성을 평가하는 방법은 때로 적절하지 않을 수 있음)
둘째, 목표달성 측정을 위한 지표를 결정하는 데 있어 평가자들 간의 일치점을 찾기 어려움(프로그램이 추구하는 구체적인 목표는 설정되어 있으나 이에 대한 결과를 측정하기 위한 지표는 다양할 수 있기 때문에 이에 대한 합의를 이끌어 내는 것이 쉽지 않음)
목표달성 평가지표 선정시 고려해야 할 사항
누가 결과를 활용하는지 고려함
프로그램의 단기, 중기, 장기 목적이 반영되어야 함
단일한 지표의 선택보다는 다양한 지표를 활용해야 함

2) 형성평가
형성평가는 평가과정 초기에 실행되는 방법으로 프로그램의 성패를 가르는 것과 관련이 없으나 프로그램 개혁과 완성에 도움을 주는 정보를 얻는데 초점을 둠.

형성평가는 주로 프로그램의 형성 초기에 실행되는 방법으로 클라이언트를 위해 시작한 개입 프로그램이 개선될 부분이 있는지, 추가적으로 필요한 부분이 있는지 등을 결정하기 위하여 소수의 프로그램 참여자에게 질문하는 방법으로 진행 됨. 즉, 프로그램을 개선하는데 초점을 둠
형성평가는 일반적으로 자유스러운 피드백을 포함하는 조사를 통해 실시되는데, 개별내용은 프로그램 평가자에 의해 검증하는 절차를 거쳐 프로그램 개선안으로 만들어짐. 그러한 형성평가를 통해 모든 문제를 해결할 수 있는 것은 아님. 특히, 프로그램 초기에 시행하기 때문에 전체적인 목표의 달성 및 효과성을 측정하는데 무리가 있고, 프로그램 개발 시에 형성평가를 위한 예산을 따로 설정하지 않는 경우가 많기 때문에 예산상의 문제가 있다는 단점이 있음

형성평가의 방법으로는?
전문가의 자문을 받음
전국적으로 인정된 기관에서 ‘표준모델’을 찾아냄(대략적인 지침을 제공함)
특별위원회를 구성함(직원, 클라이언트, 지역사회 유지, 기관의 운영 위원 등이 참여 가능함)

3) 효율성평가
투입에 대한 산출의 비율로서 프로그램에 투입된 자원이 얼마나 결제적으로 활용되었는가를 판단하는 것임
효율성 평가는 정책 또는 프로그램이 효율적으로 집행되었는가를 수량화하는 것으로 경제성을 따지는 작업임
비용효과분석와 비용편익분석으로 나뉘어짐
비용효과분석은 목적을 성취하는 여러가지 방안 중 가장 비용이 덜 드는 방법을 찾기 위해 평가하는 방법으로 프로그램 자체에 드는 비용에 초점을 둠(예를 들어, 동일한 목적을 달성하기 위한 A프로그램과 B프로그램이 있을 때 A프로그램이 B프로그램보다 비용이 덜 들었다면 A프로그램이 더 효율적이라고 평가 하는 것)
비용편익분석은 프로그램의 결과로 발생한 편익이 비용을 넘어서는지를 평가하는 것으로 프로그램에 드는 비용과 더불어 프로그램 성과로 인한 재정적 이익의 산출에도 조첨을 둠(예를 들어 국가에서 급증하는 자살률에 대한 문제의식을 갖고 자살예방 프로그램을 실시하고자 할 때 프로그램에 드는 비용이 국민 자살로 인해 발생하는 사회적 비용보다 적은가를 판단하기 위해 실시함. 프로그램에 드는 비용이 더 적다면 자살예방프로그램을 실시하는 것이 사회적으로 효율적임)

4) 과정평가
프로그램이 성공적이었는지를 평가하는 것과 더불어 프로그램이 의도대로 전달되었는가, 성공과 실패의 원인은 무엇인가, 누구에게 효과적이었는가, 어떤 상황에서 효과적이었는가를 평가하는 방법으로 프로그램 전 과정에 대해 다양한 양상을 추적함
과정평가는 프로그램의 전달체계, 질적인 측면, 행정적 측면에 대해 평가함
과정평가에서는 프로그램의 실행과정을 모두 기록하게 되며, 주로 이야기 형식을 활용하여 의사결정과 새로운 프로그램개발에서 핵심적 사안들을 구체적으로 기술함(즉, 어떤 프로그램을 시작하고 운영하는 데 필요한 것, 반복하지 말아야 하는 실수, 다음 팀에 대한 충고 등을 제공함)


프로그램 수행과정에 대한 평가시 고려해야 할 질문은?
프로그램의 일반적 수행절차는 무엇인가?
어떤 프로그램 요소가 결과에 가장 기여했는가?
프로그램 이용자는 왜 해당 프로그램을 선택하는가?
이용자가 생각하는 프로그램의 장점은 무엇인가?
어떤 유형의 개인들이 서비스를 받지 못하는가?
클라이언트는 서비스에 만족하는가? 왜 만족하는가? 왜 불만족하는가?
프로그램을 위해 운영자는 어떤 자격을 갖춰야 하는가?
어떤 유형의 임상가가 프로그램의 대상자에게 가장 적합한가?


과정 평가를 위해 어떤 방법을 사용할지는 연구문제의 성격에 따라 조사자가 선택해야 함
과정 평가의 방법으로는 다음과 같음
사례연구방법
프로그램 진행에 대한 기록물 검토
프로그램 관련 회의나 워커의 활동을 직접관찰
이용자들을 대상으로 포커스그룹을 구성하여 과정 평가
우편 혹은 전화 조사 시행
프로그램 혹은 조직의 내부 관계자와의 인터뷰

5) 투입자원 평가
프로그램을 구성하는 다양한 요소를 평가하는 데 초점을 둠
프로그램을 구성하는 인력, 시설, 서비스 자원 등이 프로그램의 목적을 달성하기 위해서 적절한지를 평가하는 방법
투입자원은 단위비용, 지역사회의 욕구, 기관의 목적 등을 고려하여 적절성을 평가함
투입요소 평가에서는 다음과 같은 질문을 고려함
프로그램을 진행하는 직원 수는 적절하며, 직원이 프로그램을 운영할 수 있는 적합한 자격을 갖추고 있는가?
프로그램이 진행되는 기관의 지리적인 위치는 클라이언트가 쉽고 안전하게 접근할 수 있는가?
프로그램은 기관의 목적과 부합하는가?
프로그램 대상자인 클라이언트의 성격이 기관의 성격에 부합하는가?

6) 질적 평가
참여자의 다양한 의견을 수집하여 계량화가 힘든 부분에 대한 의미를 발견하는데 초점을 두는 평가방법임
질적 평가방법은 사회프로그램은 서비스 제공자 뿐만 아니라 수혜자에 대한 평가가 이루어져야 한다는 개념에 의해 이루어지며, 서비스 제공자를 평가하는 경제적 효율성, 양적인 접근과는 달리 수혜자에 대한 평가는 다양한 견해, 의미, 해석을 발견하는 방법을 중요시 함
질적평가 방법으로는 관찰, 심층면접, 사례연구, 집단 면접 등의 방식이 사용 됨
7) 기타 평가
평가대상에 따라 기관평가와 개인평가로 나뉘어 짐. 기관평가는 프로그램과 기관의 서비스 전달 상황을 평가하는 조사이며, 개인평가는 프로그램을 운영하는 개인에 대한 평가로서 자기평가, 동료 평가, 행정가에 의한 평가 등이 있음
평가시점에 따라 사전평가와 사후평가로 분류되는데 사전평가는 프로그램이 종료되기 전에 실시하는 평가로서 적극적 평가로 할 수 있으며, 사후평가는 프로그램이 종료 된 후에 실시하는 평가로서 소극적 평가라고 할 수 있음

1) 평가목적 및 대상의 결정
어떤 목적을 가지고 어떤 프로그램을 평가할 것인지를 결정해야 하며 어떤 내용을 위주로 평가할 것인지 등을 고려해야 함
평가목적 및 대상을 결정할 시 평가를 위한 비용, 인력, 시간, 평가결과의 실제 이용자 등을 고려해야 함

2) 프로그램 책임자 및 담당자의 이해와 협조 요청
프로그램의 평가는 실제로 프로그램의 운영을 책임지고 있는 책임자와 실제적으로 수행하는 담당자가 평가의 목적 및 방법 등에 대해 이해하고 협조해야 수행이 가능함
프로그램 담당자는 평가의 결과가 부정적이거나 예상하지 못하게 나올 수 있기에 불안감과 두려움이 있을 수 있음으로 조사의 목적 및 내용에 대해 충분한 협의와 토의가 이루어져야 하고, 프로그램 관련자와 평가사 사이에 긴밀한 협조가 이루어질 수 있도록 해야 함.
특히, 평가의 주체가 외부인일 경우에는 더욱 이러한 점에 유의해야 함

3) 평가목적 및 대상의 결정
평가 조사는 프로그램의 목표에 대한 실제적인 달성 정도를 측정하는 것이므로 프로그램의 목표를 명확히 해야 함
프로그램의 목표는 구체적이고 명확히 측정 가능하도록 설정되어여 함. 이를 위해서는 프로그램이 누구에 의해서 제공되는지, 누구를 위해 제공되는지, 무엇을 제공하는지, 기대하는 변화는 무엇인지 등을 서술해야 함
누구에 의해서 제공되는지는 클라이언트에게 서비스를 제공하는 사람이 몇 명 인지, 자격은 어떻게 되는지 등 개인적인 특성을 의미함
누구를 위해 제공되는지는 대상 집단, 표적 인구 등 클라이언트의 특성을 의미함
무엇을 제공하는지는 서비스의 내용, 빈도, 장소 등을 의미함
기대되는 변화는 변화의 정도, 내용, 지속 시간 등을 의미함

4) 조사대상 변수 선정
클라이언트의 변화에 대한 가설을 세우고 이를 검증하기 위한 경험적 조사를 실시하는 것은 평가 조사의 주요 목적임
조사 대상의 변수 선정은 독립변수, 매개변수 및 종속변수를 확인하고 평가조사의 목적 및 내용과 관련하여 변수를 결정하는 것임
종속변수는 개입의 결과이므로 당연히 선정되어야 할 것이지만 독립변수와 매개변수에 있어서는 적절한 것을 고려해야 함

5) 이용 가능한 자료 및 측정도구의 결정
선정된 변수에 따라 그것들을 실제로 측정하기 위한 자료와 측정도구가 있는지 검토 함
기존에 사용했던 측정도구가 있다면 이를 사용할 수 있는지 검토함

6) 새로운 측정도구의 개발
선정된 변수를 측정하기 위해서 기존의 측정도구를 사용할 수 없다면 새로운 측정도구를 개발해야 함
측정도구의 개발은 기존에 있던 측정 도구를 수정하거나 새로운 측정도구를 만드는 과정으로 이루어 짐
새로운 측정도구는 신뢰도와 타당도가 높은 측정도구가 될 수 있도록 개발해야 함

7) 적절한 조사설계 형태의 선정
표본추출 등을 포함한 적절한 조사설계 형태를 결정함

8) 조사의 수행
실제로 자료를 수집하는 활동. 평가 조사는 조사수행과정에서 프로그램 관련자와의 관계 등에 갈등이 있을 수 있으므로 프로그램 관련자와의 관계에 유의하여 조사를 수행해야 함

9) 결과의 분석 및 해석
조사활동을 통해 수집된 자료를 통계절차를 이용하여 분석하고 결과가 무엇을 의미하는지 명확히 해석해야 함
통계적 지식을 갖추었을 경우에는 보다 융통성 있게 자료를 분석하고 그 의미를 조사의 목적에 맞게 해석할 수 있는 장점이 있음

10) 결과의 보고 및 실제적 활용
평가 조사는 통계적 지식이 없는 사람도 이해할 수 있을 정도로 보고되어야 함
보고서에는 프로그램 평가와 관련한 건의사항 등이 반드시 포함되어야 함
보고서의 실제적인 활용은 조사의 목적과 관련하여 평가 조사 의뢰자의 의도에 따라 사용되어야 함