“Advanced Placement” — 앞 자리 있는거요 고등학교에 대학 학점 주는거요.
에스에이티 S.A.T. “Scholastic Aptitude Test” —
이제 그 제도에서는 AP 이라는 것이 In the college entrance exam, the AP means
고등 학교에 있지만은 AP 니까 앞짜리 (진보한것) Though they are in high school, they get college credit.
그 과목이나 대학 채점은 주는거요 It’s recognized by the college as passing the course in high school.
그러니까 학생이 So for the student,
AP 학점은 하나 둘 셋 넷 다섯 개 하면 So, if a high school student has one, two, three, four, five AP classes
대학교는 한 학기입니다 That’s one semester of college completed.
Annyeonghaseyo, this is Mark Peterson 안녕사세요. 여기는 마크 피터슨
with The Frog Outside the Well Research Center 우물밖의 개구리 연구소 입니다.
And today I'm going to introduce a friend of mine 오늘 제 친구를 하나 소개 할건데
But I want to explain about this first 근데 먼저 설명할것있어요.
한국 말로 할거요. 한국에, 제 알기에는 In Korean language.. In Korea, as far as I know
옛날에는 In years past
대학교 입학하는 것이 Getting into the University
돈만 있으면 입학되는거예요 Was just a matter of having enough money.
또한 옛날에 우골탑이라는 말을 배웠어요 And I learned about the “Cow bone pagoda”
우골탑은 Called “u-gol-tahp”
황소의 우 자 The “u” means cow.
뼈 골 자 탑탑자 인데 The “gol” means bone, “tahp” means pagoda.
그 “우골탑”은 대학교 The “cow bone pagoda” referred to a private, for-profit, university
저 가난한 농부의 And a poor farm family
황소를 받아가지고 Would give the cow to the university
저 학비 대신에 as tuition for their child to get into college
아 그 환소를 먹고 The university president would eat the cow
뼈를 저 뒤문으로 던지고 답을 세웠는거요 You throw the bones out the back window and they all stack up.
아 한국서는 입학하는 것이 대단히 중요하다고 알고 있고 I know that entrance to college was a very important thing
또 입학은 공평하게 And admissions must be fair.
하기 위해 시험을 저 아주 잘 해야 되는 것이다고 To achieve that, the entrance exam had to be done well.
또 아무리 부장없도록 노력을 많이 하셨어요 And there was effort to avoid all corruption.
그러니까 어느 동 안에 Therefore, for some time now,
입학 시험을 하느냐 The entrance exam,
수능여서 해야 수능시험이라고 하는데 Now it’s called “suneung” exam,
선택 시험으로 합니다 Has been a multiple choice exam.
그런데 선택 시험은 요새 많은 학자들 But more recently, many scholars,
교육학자들 비평을 해요 Scholars of education, are critical of the multiple choice exam.
선택 시험보다도 Better than a multiple choice exam,
저 문장 시험이 Is the essay exam.
중요한 또 정확한 저 It’s more important, and accurate level
정도로 학생의 능력을 the students ability
알 수가 있는 거예요 Can be better evaluated.
저는 하버드 대학교 대학원 을 다녔는데 When I attended Harvard, in graduate school,
거기서는 선택 시험 Never once did I see
한 번도 못 봤습니다 A multiple choice exam.
모든 시험은 문장 시험으로 하는 거예요 Every exam was an essay exam.
그러니까 문장시험을 어떻게 공평하게 So, how can an essay exam
채점을 할 수 있는지 Be graded fairly?
그 방법이 있습니다 There is a method.
어늘 제 손님이 Dan Kelly 라고, 아이오와주에서 오신거요 My guest today is Dan Kelly from Iowa.
미국 아주 중심에있는 아오와주에요. Iowa is right in the middle of America.
고등학교 선생 이에요 He’s a high school teacher.
또 한 변호사 입니다 And he’s also a lawyer.
변호사 하다가 재미없다해서 고등학교 선생 하셨는데 He practiced law for a while, didn’t like it, and became a high school teacher.
그분은 제가 지금 Salt Lake City에 저, 옆에 있는곳에 He’s visiting Salt Lake City, nearby here,
채점을 하기 위해 오셨습니다 He came to grade tests.
아 미국의 여러곳에 여러 도시에 있자 In America, in several places, several cities,
채점을 할 때는 문장시험을 채점할 때는 To grade tests, grading essay tests
수백 (*대학*) 고등학교교사를 모아서 Several hundred high school teachers gather,
수백 명을 재시험을 거치는 것에 지나 Several hundred teachers correct the tests.
지침 규칙을 좀 세워서 The first set up the standard
자 그 교사아들 하나하나씩 그 시험을 좀 번을 거예요 And the teachers look at each test, one by one.
혹시 아 의문이 있으면 If they have a question on grading,
두 세사람도 보고 Two or three teachers look at the test paper,
다 동의하면은 동의 되는거요 If they agree, then it’s settled.
채점 주는것은 5, 4, 3, 2, 1 입니다. Grading goes from 5, down to 4, 3, 2, and 1.
다섯서부터 내리는것은 The grading goes down from five to one.
오점이면은 최대 최고 한거요. Five is the best.
제 최고 한 거예요 Five is maximum points.
사는 조금 못 되고 삼은 중간에 Four is not quite as good. Three is in the middle.
이 엘은 좀 낙점 되는 거예요 Two and one are failing grades. No credit.
이시험은 왜 중요하냐면 AP 시험 해요 The reason this is important is
“Advanced Placement” — 앞 자리 있는거요 고등학교에 대학 학점 주는거요.
에스에이티 S.A.T. “Scholastic Aptitude Test” —
이제 그 제도에서는 AP 이라는 것이 In the college entrance exam, the AP means
고등 학교에 있지만은 AP 니까 앞짜리 (진보한것) Though they are in high school, they get college credit.
그 과목이나 대학 채점은 주는거요 It’s recognized by the college as passing the course in high school.
그러니까 학생이 So for the student,
AP 학점은 하나 둘 셋 넷 다섯 개 하면 So, if a high school student has one, two, three, four, five AP classes
대학교는 한 학기입니다 That’s one semester of college completed.
또 열개 하면 아주 어렵지만 If a student can take 10 AP courses in high school — it’s hard
한 몇 사람 학생이 그렇게 해요 Some students can do that!
1학년 인데요 — 대학 That’s one year of college credit.
어떤 미국 학생이 졸업할 때 So, some students, when they graduate from high school
대학 1년을 마치었습니다 They’ve completed one year of college already.
그만큼은 이 시험은 상당히 중요한 건데 That’s how important this test is.
채점하는 데는 5차례는 아주 틀림이 없어요 When you are grading tests, you know when you see a 5.
학생이 아주 잘은 설명을 해 가지고 The student explains everything well,
모든 포인트를 하나하나씩 설명하고 They include all the things they should
이렇게 하면 우리 채점하는 사람이 So, for those of us grading papers,
5점짜리를 만점짜리를 보면 알아요 When you see a “5”, “full points” paper, you know it!
틀림 없으세요 There’s no mistake about it.
그럼 마찬가지로 1점이 아주 부족한 것을 그것도 알아요 Similarly, you know a “1”, “inadequate”, when you see it.
중간에도 판단하는 방법을 있는데 For those in the middle, there are ways of determining those scores.
왜 오늘 이것을 하느냐 하면은 The reason I’m talking about this today is
한국에서는 그걸 In Korea, they are starting to do more testing like this.
지금 시작하고 있다고 알고 있습니다 I’ve heard they are using more essay questions.
아 모드선택 시험을 말고 Not all multiple choice questions.
이 문장 시험도 하는데 And the essay test
미국에서는 이 문장시험에 중요사항을 강조하기 위해서 I want to emphasize is important in the US educational system.
또 아주 공평하게 And it is completely fair.
시험을 이렇게 줄 수 있다는 것을 보여주려고 할 목적입니다 I want to show you a little bit about how it works.
지금부터 Dan Kelly 와 우리가 영어로 그 분의 채점하는 So, now, with Dan Kelly, in English — we’ll look at his experience
순서나, 경험을 설명할 거예요 In grading essay exams.
네 그렇게 합니다 감사합니다 That’s next. Thank you.
Annyeonghaseyo, this is Mark Peterson 안녕하세요. 여기는 마크 피터슨,
with The Frog Outside the Well Research Center. [우물 밖 개구리 연구소] 입니다.
Today I have a guest who just flew into town. 오늘 손님이 금방 비행기를 타고 왔는데
Yeah, I'm Dan Kelly. I'm here from Iowa. 네, 댄 켈리 입니다 . 아이오와주에서 왔습니다.
I'm a high school teacher who's visiting the area 저는 현재 고등학교 교사이고 이 지역을 방문 중입니다.
to grade AP exams or score AP exams for the College Board. 온 목적은 AP시험을 채점하는 일로
In Salt Lake. 샐틀레이크 씨티에 왔습니다.
And Dan was with me on the last 댄은 나와 최근에 한국에 세미나와 답사에
field trip seminar we did in Korea with the 같이 계셨는데, 삼년전에
Korean War Legacy Foundation and the World History 한국전쟁 유산 재단과 세계 역사
Digital Education Foundation. 전저로교율(전자교육?) 재단의 덕분에 한국갔는데
So we were a group of American teachers, 우리는 미국 고등학교 교사의 단체였고
and Mark was helping us 답사 하면서 마크 선생님이
understand Korea, Korean culture, Korean history 한국의 문화와 한국의 역사를 이해하도록 도움을 주었죠.
And we had a great trip, it was a great group. 좋은 단체, 좋은 여행이었지요.
And we're still friends on Facebook. 아직 모두 페이스북에 친구들 하고
It's really been it's really been a nice association. 그때부터 우린 아주 좋은 친구 사이예요.
So you came to Salt Lake to do this 쏠트레잌에 오신것은 채점 때문이죠.
and you gave me a call and said, hey, 나한테 전화를 해주셨고
let's get together for some ice cream. 만나서 아이스 크림이나 먹자고 했지요
And I said, yeah, let's shoot a video on what you do. 네, 그래서 내가 영상을 하나 촬영하자 했지요.
Because the purpose of this video for my Korean audience is to learn about 이번 영상의 내 목적은 한국의 친구들을 위한 건데
how to do an objective essay test grading procedure 객관적 에세이 시험 채점 절차를 수행하는 방법에 대한 거예요.
and you've done it in two venues. 두 분야/과목에서 했었나요?
You've done it with world history. 세계사를 했었지요?
U.S. History. 아니요, 미국역사요.
U.S. history. 네, 미국역사요.
United States history, and United States government 미국역사와 미국정부 (그리고 정치)
And now you're with the United States government. 그리고,지금은 미국정부를 하시는것지요.
And you've been in Louisville, Kentucky. 과거에는 켄터키 루이빌, 에서 —
That's where we graded the AP U.S. history, 그곳에서는 AP 미국역사를 채점했었죠.
and then the AP United States government's here 그리고 여기 솔트 레잌 시티에서는
in Salt Lake City. AP 미국 정부(와 정치)를 하고요.
And the way they organize the College Board organizes this? 컬리지 보드(대학 위원회) 가 조직한거죠?
Yes./ Right? 네 / 맞지요?
And they organize hundreds, literally thousands 주최측에서 말그대로 수백명, 수천명의 교사를
of teachers to come to a certain venue. 어떤 특정한 장소에 모으는 거예요
You're at a venue in Salt Lake City called the Salt Palace. 쏠트레잌에는 쏱트회관에 오신거고요.
It's a big convention center./ Absolutely. 진짜로 큰 회관이지요. / 맞아요.
And you've got tables set up through the whole thing 당신이 전체 행사를 조직하고
and people are busy reading and grading tests. 많은 사람은 분주하게 읽고 채점하는데
Now, tell me the key to being able to read an essay test 문장시험을 채점하는데 완전히 공평하기 위한
and evaluate it totally objectively. 그 핵심이 뭔가요?
So there's no question about any subjective 사실 시험을 채점하는 데
value being being brought into the test. 주관적인 것이 있을 수 밖에 없습니다
So the way the process happens is 순서는 다음과같은 거요.
once the test is administered 학생은 시험을 보고
and the tests are administered, the first two weeks in May. 시험은 5월 초순에 이루어집니다.
All over the country 미국 전역에 있는 학교에서
at schools around the United States, around the world. 사실 전 세계에서도 시험을 볼 수 있어요.
They're administered in numerous countries around the world. 여러 나라에 시험을 볼수있는거예요.
And then those tests, then 그리고 제출된 시험지는
after the students write their essays, 학생들이 쓴 에세이는,
their free response answers, they then have a group of 자유롭게 쓴 글들은,
they have a leadership team that involves a chief reader 첫번째로 지도팀에서 수석 채점관이 보게 되요.
who's a college professor in the subject matter. 수석 채점관은 대학 교수이시고, 그 분야의 전문가이세요.
They have assistant chief readers 그아래 보조로 채점을 돕는 사람들이 있고
who are sometimes college professors, sometimes high school teachers, 그들은 대학 교수이거나, 또는 고등학교 교사죠.
and then a leadership team that comes together ahead of the reading. 모든 채점자들이 모이기 전에 지도팀에서 준비하는 것이 있는데,
And they take 채점자들은
the they take a subset of the essays, 제출된 시험지 중에서 일부를 골라내서
a random sample subset of the essays, 무작위로 하위그룹을 만드는 거죠
and they start to apply a rubric 그리고 나서 채점표(루브릭) 설정을 시작하는거예요.
to see how how do these tests compare to the rubric 샘플 시험중 몇개를 그 채점표에다가 비교해보고
that we've put together in terms of scoring that? 채점의 기준을 세우는거죠.
And so they'll take this subset of several thousand essays 그래서 그들은 수천 개의 에세이 중 이 하위그룹을
so that they can get a representative sample over the... 선택하여 모든 테스트의 대표적인 샘플을 얻을 수 있습니다.
in some cases in AP U.S. history, 예를 들어, ‘AP미국의 역사’이라면
it's over half a million tests that will be taken. 일년에 50만개가 넘는 답안지를 채점 하는 셈이죠.
All graded objectively, all graded on the basis of an essay. 모든 점수는 객관적으로 채점되며, 모두 에세이를 기준으로 채점됩니다.
And the point I want to get to is that in Korea, 여기 포인트는, 한국에서는 대학에 입학하기위해
there's such pressure to get into college, 학생한테는 대단한 압력은 있어서
there's such pressure on the testing system, 마찬가지로 시험방식에도 상당한 압력이 있습니다.
and it's thought that only in objective tests, 그래서 객관적인 시험이어야만 한다고 생각하는거죠.
so called objective test, multiple choice four choice tests 객관적인 시험을 위해서 사지선다방식이
is the only thing that's possible. 유일하게 가능한 방식이라고 생각한거죠.
Now, I understand Korea starting to change on this. 요즘들어 한국에서도 이를 바꾸는 중이라고 들었어요.
They're starting to do some of these kinds of objective tests, but 요새는 에세이, 문장 시험을 시작 했다고 들었는데
objective essay grading tests. 객관적으로 문장 시험을 채점하는 방식이요.
But I'd like the public to know about this in Korea or my my audience. 그러나 나는 한국의 대중이나 나의 시청자들이 이것에 대해 알았으면 합니다.
So as I understand it, every test is read by three graders. 제 알기에는 모든 답안지를 세 사람이 채점하는 것으로 아는데
Is that right? 맞습니까?
That is not correct. 그렇지는 않습니다.
Oh, OK. 오!, 진짜요?
So different tests, different 시험에 따라 다른 규격화된 채점 방법있는 겁니다.
standardized free response tests are graded different ways. 문장시험은 다른 방법으로 평가됩니다.
And so I've been involved in state level testing 저는 (정부에서 주관하는 시험 아닌) 주정부 주관의 시험에서 채점한 경험도 있는데,
where we did have every essay was read by multiple readers. 거기서는 모든 답안지를 여러명의 채점관들이 심사했어요.
With the volume of essays that the College Board 대학위원회에서 주관하는 시험정도의 양이면
is grading this week. 금주에 해야하는 것만 해도, 음,
We are doing in in AP government, ‘AP미국정부’의 시험은
I think we're grading over a quarter of a million tests. 25만개 이상이예요.
And so 그러니까
so once they develop that subset of tests, then they 수석 채점관들이 시험지들의 하위그룹을 모아서
they create a training packet 훈련의 규범을 만들고
that they then train us to apply the rubric 우리에게 채점기준표(루브릭) 쓰는법을 훈련시키죠.
based on the sample selected by the leadership team. 실제 모범 시험 세트를 이용해서요.
And these are the expectations that good essay would have. 그러니까 이것들이 좋은 에세이에 있어야 할 것들을 보여준다는 말이군요.
And for a student to get maximum score 그러면 어떤 학생이 10점 만점에 10점을, 혹은
where they have to get ten out of ten of the objectives 10점 만점에 8점을 받아야하는 곳에서
or eight out of ten or what would they have to get? 최고 점수를 받으려면 무엇을 해야 할까요?
It depends on the question so in our test, our test is made up. 시험은 모두 각각의 채점 방법이 다릅니다.
Half of it is multiple choice, 우리 시험에도 절반은 객관식 부분이 있는데
objective, selective response tests, 객관적이고 표준화된 시험이라고
like we tend to think of standardized testing. 생각되는 방법이지요.
And then the other half of the test 또 나머지 절반은 몇개의 문장 시험으로 이루어져 있어요.
is made up of a series of essays and each of the essays 그 몇개의 문장 질문들에는 각각
has a slightly different rubric. 조금씩 다른 루브릭이 따로 따로 있는거죠.
So in our content, we have a qualitative analysis question, 우리의 문장시험은 하나는 정성적인 분석의 질문 있고,
a quantitative analysis question, 또 하나는 정량적인 분석의 질문 있고
we have a Supreme Court comparison question 또 다른 하나는 대법원에 대한 비교질문도 있고
where they have to compare the facts 거기서 사실들을 서로 비교해야하는겁니다.
and their reasoning and the legal principles 우리는 그들의 논리적 추론과 법적인 원리를 알 수 있습니다.
behind a Supreme Court case that they would have studied in the 법원이나, 토론에서나, 수업시간에 공부했던
in the court, in the clinic, in their class 대법원 판레들의
to a different case 사례들과 접해 본적이 없는
from the Supreme Court that they're unfamiliar with. 대법원 판례를 비교하는 과정에서요.
And then we have what's called the argumentation essay, 그다음에는 논쟁의 문장시험도 있습니다.
the the ultimate score is a five point scale. 5점 만점 척도입니다.
So there's a five, which is passing with exceptional merit 5점이면 탁월한 자질로 합격.
there's a four that's passing with merit. 4점은 우수한 자질로 합격
There's a three that is considered passing, 3점은 합격
and then two and one are considered non passing scores. 1점 과 2점은 합격하지 못하는 점수로 간주됩니다.
And then it's then it's up to colleges and universities to decide. 대학마다 이를 인정하는 기준이 다릅니다.
Some colleges will give credit for a three. 어느대학교는 3점을 인정 하고 어느 곳에 인정 안하고
At this point most colleges will not give credit for a three 요새 대부분의 대학교는 3점을 인정 안 합니다.
so usually to receive college credit 그러니까 AP시험 점수로
for their performance on the exam, 대학에서 학점인정을 받으려면,
they have to score a four or five in most places. 주로 4점이나 5점은 되야하는거죠.
Now when a when a student 아하, 학생은 시험보고
takes this exam and you're grading it, 여러분은 채점을 하는데
you don't know the student's name or local or anything. 학생의 이름이나 사는 도시나 아무거나 아는것이 있는 겁니까?
No, I have no identifying information. 아니요, 그 사람을 인식할 만한 것은 하나도 없어요.
I simply have their written response 그냥 시험지 뿐입니다.
that I'm scoring and it's just linked to a numeric code 어딘가로 링크되는 번호 밖에 없는거죠.
that is gibberish to me. 내가 전혀 읽을 수 없는 숫자뿐인거죠.
I have no idea. 누구인지 전혀 알 수가 없어요.
So it's really a standardized 그럼 매우 규격화된 시험이고,
and is objective as a test could possibly be. 그리고 그것보다 더 객관적인 것은 있을 수 없겠군요.
Yeah. 네.
And so once they create the training materials, 채점하기위한 훈련자료를 준비하고
then we go through a training session. 훈련을 받고
And… 그리고
This is what to look for. 찾아야 할 것들을 찾고 (직역: 이것은 찾아야 할 것입니다.)
And then we will have to score essays 훈련받고나서 우리는 채점을 시작해요.
and then they will score us to see 그리고 채점관들은 우리를 확인(채점) 해요.
if we're applying the standard correctly. 우리가 모두 이 채점표(루브릭)에 맞게 적용하고 있는지를 확인해요.
So we'll start with 우리는 시작할때에 이미 채점된 답안을 확인합니다.
scaling packet where they'll say 모두 합당하게 채점되었는지
on a given essay 이미 채점된 답안을요.
it might be a seven point rubric or a five point rubric, 질문에 따라 7점 만점 혹은 5점 만점 일수도 있어요.
depending on which question, and they'll say, 그건 질문에 따라 다르죠. 그리고 채점관들이 말하죠.
OK, here's what one looks like, 좋아요, 이건 1점짜리,
here's what a two looks like, here's an example of a three. 이건 2점짜리, 이건 3점짜리 같군요 라고요.
So we'll go through and we'll discuss 우린 그 과정을 겪고나서 이야기를 해요
what distinguishes a two from a three, 2점과 3점은 어떻게 다른가?
what distinguishes a three from a four. 3점과 4점은 어떻게 다른가?
And then we'll go through what they call 그런 다음 스크램블 에세이 또는
scrambled essays or calibration essays 교정 에세이라고 부르는 것을 살펴보고
where they will give us an essay 채점관팀에서 이미 채점한 에세이를
that's already been scored by the leadership team, 우리에게 제공합니다.
and they will then ask us to score it, 그러면 우리가 채점을 하는겁니다.
and then they will score us to say, OK, 그러고 나면 그들이 그 채점을 다시 평가해요. 좋아요.
you got it right, 맞게 했는지,
and you can explain why you scored it the way you scored it. 설명을 할 수 있는지, 왜 이렇게 채점했는지 등을 물어요.
And so every morning when we start grading 아침 마다, 그렇게 시작 해요
because we'll do this over the course of a week, 일주일간 이 작업을 수행 할 것이기 때문에,
we go through calibration. 아침마다 교정을 거쳐요.
So we have to pass the calibration test in the morning 아침 마다 교정에 통과해야만 해요
before we're allowed to continue scoring essays. 그래야 그날 시험을 채점할 수 있는거죠.
Now, I've heard that 아!, 지금 들어보니까
the organization is absolutely brutal 그 방법은 아주 힘들게 들리네요
for people that don't calibrate well. 교정 측정을 잘못한 사람들에게는요.
If if you fail, if you fail calibration three times, you're dismissed. 세번 해보고 안되면, 해고되는 거예요. 집에 가는거죠.
And so so basically the first time you fail at calibration, 첫번째 교정 측정에 통과하지 못 하면
then you get remedial training 재훈련을 받아요.
to go back and do additional training materials. 다시 돌아가서 훈련자료들을 다시 보고
And then you go through calibration again. 다시 교정측정을 해보고
And if you fail calibration, you go back through remediation 두번째 교정 측정에서 떨어지면 다시 재훈련을 하고
and if you fail the third calibration, 세번째 교정 측정에서 떨어지면
then you're dismissed from the readings. 집에 가는거예요.
Really? 진짜요?
And they dismiss a significant number every year I understand. 매년마다 아주 많은 사람들이 떨어지는 것으로 알고 있어요
I, I don't know, I know that there are people who've been dismissed. 얼마나 많은 사람이 있는지 몰라도 있는 것은 맞습니다.
I, I don't know what those numbers are. 하지만 몇사람이니 떨어지는 지는 모릅니다.
Well, the point that I want to make for our Korean friends 제가 우리 한국친구들에게는
is that testing 시험이라는것이
doesn't have to be multiple choice. 꼭 객관식 시험일 필요는 없다는 겁니다.
You can have objective testing of grading essays 객관적인 방법으로 문장시험을 채점하는 방법있습니다.
and you've heard some of the technical ways that they can do this. 이제까지 기술적인 면에서의 그것을 가능하게 하는 방법들을 들었어요.
And, you know, 또 한, 재밌는게
the examination 시험이라면
system in the old days in Korea to qualify 옛날 한국에도 조선시대에
for a government position was an essay exam. 정부에 관직을 갖기위하여 문장시험을 보았지요.
Yeah. 네.
And it was calibrated in an interesting way in that 옛날에도 교정 측정을 하는 흥미로운 방법도 있었어요.
you would write it, the person would write it in his own pen, -회망자의 글을 다시 중간 사람의 붓글씨로 새로 쓰는것 했지요 -당신은 그것을 쓸 것이고, 다른 사람은 자신의 붓으로 쓸 겁니다.
you know, brush in their own brush. -본인의 글씨로 허면, 혹시 채점하는 사람이 글을 이식 하지못하게 -알다시피, 자신의 붓으로 쓰겠죠.
And then it would be transcribed into a neutral brush 시험에서는 새 붓을 사용하도록 했지요.
so that a grader wouldn't happen 채점하는 사람이 혹시 자기의 학생이라는 것을
to see the handwriting of one of his students. 그 글씨를 보고 알아차리지 못 하게 하려고요.
And so there was that objectification in those essays back in those days. 그러니까 조선 시대에도 객관적인 시험을 했던거죠.
The difference between a three and a four 3점짜리 와 4점짜리의 차이는 매우 중요해요.
can be very significant in terms of whether someone passes. 합격과 불합격의 차이죠.
So those tend to be the essays that they focus on. 그래서 그러한 답안지를 잘 보는겁니다.
So they back read us and then there's a leadership level above them 그때에 지도자급에서 확인 하는거죠.
that's called a question leader. 그들은 질문지도자라고 불립니다.
And so the question leader then back reads a sampling of our, 질문지도자는 다시 우리들의 표본을 봅니다.
our essays as well. 우리가 하는 일을 확인하는거죠.
So sometimes I get feedback from my table leader, 어떤 때는 테이블 지도자로부터 확인을 받고
sometimes I get feedback from the question leader. 어떤 때는 질문지도자의 확인을 받아요.
Oh, really? 오, 그래요?
You'll get specific feedback on specific tests? 특정 답안에 대해서 특정한 평가를 받는 것이군요.
And I and so just two days ago, 예를 들면, 이틀전에,
I had my table leader who said, OK, 우리 테이블 지도자가, ‘좋아요,
I want you to explain to me how you found… 당신이 3점을 줬는데 그 이유를
I had scored an essay a three. 나에게 설명해 줬으면 좋겠어’라고 했어요.
He had scored it a two. 그는 2점이라고 채점했는데
And so he then asked me to justify 나를 보고 설명 해보라고 하더군요.
why I thought it earns the third point. / Wow. 어째서 나는 3점을 줬는지를요. / 와우.
And who won that debate? 누가 이겼을까?
He won the debate. 그사람이 이겼어요.
And I conceded because in rereading the essay, 나는 에세이를 다시 보고 인정했습니다.
it had not crossed the threshold 3점의 수준이 못되었어요.
of meeting the expectations for the additional point. 추가점수를 받을 정도의 문장이 아니더군요.
and so those are discussions 그러니까 우리가 서로 토론하는 겁니다.
that are constantly happening throughout the week. 일주일동안 끊임없는 토론을 해요.
As you're looking at these essays and saying 이렇게 많은 에세이를 보는동안에
and at this point, I've seen hundreds of essays and it's starting, 지금은 그야말로 수백장의 에세이를 보니까, 점차로
it becomes clearer where those lines are. 채점기준이 명백해졌어요.
And if we have questions, we can ask the table leader. 질문있으면 테이블 지도자와 상의를 할수있고,
We can talk to other readers in our table, 또한 한 테이블의 여덟명이 서로 이야기도 하고,
we can talk to the question leader and say, this one is close, 질문지도자에게도, 이건 좀 애매하다고 말할 수 있어요.
I'm not sure whether it's sufficient. -충분히 4점인지, 3점인지 - 이게 충분하지 모르겠다고
When you read a five. 5점짜리를 볼때
When you read a five, you know it, don't you? 5점이라는 것을 확실히 알고 읽는 거죠?
Yes. I mean, there are students 네, 그래요, 어떤 학생이
who write incredible. 대단한 문장을 써요.
Well it's marvelous. 네, 대단 한일에요.
Well bottom line is, Korea, 결론적으로, 한국에는
there's more than one kind of objective test 객관적인 시험에는 여러 종류가 있습니다.
and essay writing is an important, important skill. 그리고 글을 쓰는 기술은 대단히 중요한 기술입니다.
And and there is also an appeal process. 또 하나는,항소 절차도 있습니다.
If you are if you are dissatisfied, 혹시 학생이 불만 있으면
you can appeal and have your have your test then rescored. 항소를 신청해서 재검토, 재채점을 요구할 수 있습니다.
If you believe that the score you received was insufficient. 네, 채점이 틀렸다고 생각하면 그럴 수 있어요.
How many students do that? 학생들이 많이들 그렇게 하나요?
I don't know those numbers, but 정확한 숫자는 모르지만
but there are opportunities to appeal. 그러한 항소하는 절차는 있습니다.
Well, that's that's the story. -야, 그러면, 우리가 하기로 한거요 - 그것 참 대단한 이야기네요.
And Korea can revert back 한국에서도 옛날처럼
to the old Joseon Dynasty days and have an essay exam. 조선시대 처럼 문장 시험을 할 수 있어요.
The the essay exam, you know, 문장 시험이요.
when I went to Harvard, 또한 제가 하버드 다닐때
I never saw a multiple choice test. 객관식 시험은 한번도 본적이 없어요.
When you go to graduate school, you never see a multiple choice test. 대학원을 가면 객관식 시험은 볼 수 없을거예요.
You know, it all has to be essay. 무조건 문장시험이어야 되는거요.
You have to explain things clearly. 답안지에는 명백히 설명해야 해요.
So the essay testing mechanism can be fully objective. 그러니까 문장시험은 충분히 객관적일수 있습니다.
And I think it would really be good for Korea to head in this direction. 한국의 교육제도도 그 방향으로 가는것이 좋을 거요.
I think they are. 한국에서도 그렇게 하고 있다고 생각해요.
I think I've heard some reports of them doing this, 한국에도 문장시험을 하고 있다는 보고서를 몇번 들은 적이 있어요.
but they can look at the College Board and the system that they've got. 그래도 한국에서도 ‘대학위원회(컬리지 보드)’를 참고할 수 있어요.
It's not only for Government, and American history 이 일은 단순히 우리가 얘기한 (미국)정부, 미국의 역사와
and world history that we made reference to. 세계사에 국한된 이야기가 아닙니다.
It's literature in the sciences and all sorts of areas as well. 이건 문학, 과학과 다른 여러 분야에서도 마찬가지예요.
Languages. 역시 언어도요.
Yes, it's variety, variety of different subjects. 네, 여러 과목이죠.
And drawing the analogy to your point about Harvard, 하버드에 대한 당신의 요점에 비유하자면
I think the College Board system of having a balance, “컬리지 보드”에서는 다른 여러가지 시험도 주관을 해요.
you know, for many states, the bar, the bar examination 예를 들면 변호사 자격증 시험
that a portion of the multi-state bar examination 여러 주의 변호사 자격증 시험
to become a lawyer in the United States 미국에서 인정하는 변호사가 되는 시험에는
is a multiple choice, objective test. 객관식 시험도 일부 있고
But many states also have an objective written response section 객관적인 문장시험도 있어요.
to those types of professional licensing exams as well. 또한 전문가 자격증 시험은 여러 개가 있어요.
So you find it at all levels of testing. 여러 수준들의 시험이 있어요.
So just for your information Korea, 한국에 대해 알리는데,
I thought it'd be interesting 이걸 재밌다고 생각 했지요
now that since Dan was in town and came by and said, hey, hello. 친구, 댄, 채점 때문에 와서 그냥 인사나 하려고 했는데,
I said, hey let's tell Korea about this examination process. 그런데, 저는, 이봐, 영상을 찍자고 한거네요.
So that's a story I hope you enjoyed it. 네, 그겁니다. 여러분에게 유익했기를 바래요.
We'll see you next time on The Frog Outside the Well Research Center. 네, 다음기회에 [우물밖 개구리 연구소]에서 만납시다.
Bye. Thanks, Dan. Thank you. 안녕히 계세요.