은연중에

<뉴스 빅데이터란?>

  하버마스의 공론장이론에서 말하듯 민주주의가 제대로 이루어지기 위해선 오늘날 미디어의 역할이 엄청나다. 선생님께선 그 중 특히 뉴스가 (1.오랫동안 유지되어 왔고 2.세계를 체계화할 때 상당히 좋은 소스 3.거의 모든 나라에 존재하는 미디어 형태)라는 특징이 있기 때문에 세계를 빗대주는 창구로서의 역할을 할 수 있을 거라 생각했다고 한다. 다만, 사회체계가 바뀐 것을 설명하고자 DB를 만드는 거라고 했을 때, 과연 어디까지 DB구축 하는 것이 맞는 건지 '경계'에 대한 고민이 있었다고 했다. 

 뉴스 빅데이터의 한계를 말하자면, (1.다 수집했을 거라고 보장할 수 없다는 것 2.단지 보유하고 있는 DB안에만 한정해서 '전수'작업을 한 것 3.전부 신뢰하기도 어려움;뉴스에 나온게 다 사실은 아니니까) 이다. 빅카인즈는 DB를 구축할 때 자동화 기법을 이용해서 구축하는데 보통 해외에선 자동화하지 않는다고 한다. 다만, 자동화 기법을 이용하되 확실히 자동화하는 쪽으로 노력하고 있다고 한다.(그림 1 참고.)

<그림1. 로봇 저널리즘>

→보면,원래는 '데이터 저널리즘'이라고 해서 사람이 각종 소스를 모아 중복되거나 불필요한 걸 거르고 이를 잘 취합해서 각종 서비스까지 연결하는 과정을 통하지만 빅카인즈에서는 '로봇 저널리즘'을 이용한다. 로봇 저널리즘은 위의 순서도를 참고하면 되는데 부연설명을 하자면 다음과 같다. 'Data Crawling(데이터 크롤링;데이터를 다 긁어오는 거)'해서 사건을 추출하고(Extraction) 사건마다 점수를 매겨(Scoring) 중요도를 파악한다(Detection). 여기에 맥락정보(Contextual Information)를 입혀서 동향을 감지하고(Mood Detection) 뉴스기사를 내는 방식이다.   

  빅카인즈의 특징은 시맨틱 네트워크 분석을 하는 것이다. 현재는 영상 분할 기술, 객체 인식, 내용인식,…등을 기술적으로 해결하려는 노력을 하고 있다고 한다.(그림 2, 표1 참고.)

               <그림2. 객체인식 적용 사례>       <표1. 영상 뉴스 빅데이터 시스템 구성안>

-관련 개념

Raw data, SNA, NLP, Meta data, structured data, structured journalism

<뉴스 빅데이터 기반 서비스>

<그림3. 뉴스 빅데이터 기반 서비스>

  '뉴스 빅데이터 기반 서비스'란, 뉴스를 데이터화한 다음 서비스로 제공하자는 것이다.(그림 3 참고.) 이게 원활하게 잘 이루어지면 장기적으론 해외로 눈을 돌릴 수도 있고 아니면 라디오뉴스와 같이 다른 매체를 통한 뉴스를 대상으로 할 수 있다. 하지만 아직은 사업적으로 현실가능성이 있을지를 점검하는 단계라고 한다.(저널리즘의 비즈니스화)

  빅카인즈의 또다른 특징은 인용문장에 대한 메타데이터를 붙이고 있다는 것이다. 이런 서비스는 기자들이나 홍보기관에서 유용하게 쓰일 수 있는데 멀티소스로서의 활용가치가 있기 때문이다. 하지만 이는 ‘Eco system’이 없으면 말짱 도루묵이다. 

 <그림4. 멀티소스>

  선생님께선 국내 거대 포탈 기업들이 OPEN DATA를 스타트업 기업들에게 공유하고 / 스타트업 기업들이 이 DATA를 가지고서 컨텐츠를 만들면 / 이걸 거대 포탈 기업들이 자신들의 기업들의 성향에 맞게 재맥락화하는 그런 시도가 필요하다고 생각한다고 하셨다.

  타겟 유저는 누구로 할지, 사회언어에서의 자연어 처리를 어떻게 문장단위로 메타데이터를 붙일지, 문장 내의 다양한 level의 텍스트를 어떻게 분석할지, 중요도 측정 알고리즘은 어떤 것으로 할지 등등 여러가지 고민을 해볼 필요가 있다고 생각한다.

<여러 논의사항들>

1.로봇 저널리즘의 대두로 인한 인간대체 현상

2.빅카인즈를 오픈아카이브로 볼 수 있는지

3.저작권 문제

기록의 조직화(질서부여)

궁극적으로 이용자가 원하는 정보를 쉽고 정확하게 찾고, 정보가 담긴 자료의 형식과 내용을 이해할 수 있게 지원하기 위해서 '조직화'하는 것이다.(목적)

→기록은 '메타데이터'의 개념이 중요하다. 왜냐하면 '도서'의 경우 의도를 가지고 생산하기 때문에 '주제'가 뚜렷하지만 BUT '기록'은 주제가 없고 예측이 불가능하기 때문이다. 따라서 접근점인 메타데이터가 중요한거 ㅇㅇ.

=기록에는 활동의 내용과 흐름이 담긴다. 즉, 기록에 담긴 내용뿐만 아니라 기록을 생산하게끔 한 활동이나 업무의 흐름을 보여주고, 기록을 생산한 개인, 조직을 잘 이해할 수 있도록 해야함.

준현용기록의 조직화

기록분류체계

-조직이 수행하는 기능과 활도에 대한 분석결과가 담기게 된다. 그래서 업무분류표의 계층이 기록분류의 계층으로 전환되는 경우가 많다.

-쉘렌버그: 공공기록 분류와 관련하여 기관의 업무활동을=기능,활동,업무처리 3계층으로 분류함.

=F-A-T모형: 조직의 업무를 세 개로 계층화 한 것. ISO15489에도 반영됨.

기능(Function)은 기관이 설립목적을 달성하기 위해 수행하는 모든 직무를 크게 나눈 것

활동(Activity)는 기능을 세분화한 것

업무처리(Transaction)는 활동을 수행하기 위한 업무조치들

기록분류와 문헌분류의 차이점

-기록이란 개인,기관의 활동이나 기능, 일상적인 업무 과정에서 발생하고 축적된 것으로 의도된주제를 다루고 있지 않다. 하지만 문헌은(단행본) 미리 주제를 정하고 이에 따라 의도적으로 생산된다. 따라서 기록은 무엇에 관한 것인가(주제)보다는 왜 존재하는가(기록을 만들게 한 업무나 활동)에 근거하여 분류된다. 내용보다는 기록이 생산된 맥락을 기준으로 분류되는 것이다. (맥락의 핵심은 업무나 기능이 된다.) 문헌은 주제에 따라 분류된다.

ISO15489

-업무분석에 입각하여 기록분류체계 개발을 안내

-업무활동분석→업무반영→기록분류체계

-기능기반분류: 조직의 업무나 활동에 따라 기록을 분류하는 것. 기록이 조직,개인의 활동을 중거할 수 있도록 함.

-기능분류의 이점

1)조직구조에 기반한 분류에 비해 기능은 상대적으로 오래 지속되어 더욱 안정된 틀을 제공한다.

2)주관적인 주제 분류에 비해 생산 배경에 근거한 분류로 객관성과 고정성을 가진다.

-문헌분류=주제분류→주제분류체계,KDC,DDC

 기록분류=기능분류→기록분류체계,기록관리기준표

*기록분류체계의 개발 및 운용을 위해선 기록관리전문가가 업무분석전문가와 일선 업무담당자들의 협조를 받을 수 있는 메커니즘 구축해야 한다.(→분류체계 앞서 업무분석 우선)

기록분류체계의 역할

1) 이용자의 검색과 해석을 지원

2) 보존기간 설정과 통제를 지원  ex: 장관취임식 관련서류 보존기간 동일 적용

3) 공개 및 접근권한의 설정과 통제를 지원

4) 기록의 기능·활동별로 묶어줌으로써 기록의 선별·평가 돕는다. → 같은 기능·활동 단위로 묶인 기록은 같은 취급 받는다.(공개여부,접근권한 등)

※기록분류체계&업무분류체계 언뜻 비슷해 보일 수 있지만! 그러나, 근본적으로 목적이 다르기 때문에 다름/기록분류체계-효율적 기록관리와 활용;업무분류체계-업무관리의 효율화

우리나라의 기록분류체계

-2003년 이후 '공공기관의 기록물관리에 관한 법률'에 기반

-2005년엔 업무분류와 기록분류의 통합이 중요한 과제로 설정됨.

-업무분류체계는 정부기능연계모델(Business Reference Model,BRM)을 기준으로 함.

BRM: 정부가 수행하는 업무를 기능별로 분류한 체계(기능별 분류체계)+(목적별 분류체계;이건 로 중요하지 않음...)

-BRM에 근거한 새로운 기록분류체계: 정책분야+정책영역+대기능+중기능+소기능+단위과제의 업무기능+업무기능과 관련해 생산,관리되는 기록철 및 건을 서로 연계하고/목적중심의 과제분류체계가 단위과제 계층에서 만남.

*여기서 '연계'한다는 걸 잘 살펴보면,

행정기관 간 수평적 협력 및 행정업무의 연속성 확보기반이 마련되어 부처 기능 간 연계된 '이음새 없는'대국민 행정서비스 제공의 기반이 됨.

ex:행정정보시스템에는 온-나라 시스템,기록관리 시스템,국정관리 시스템이 있다. 이 시스템 모두에는 BRM이 적용되어 있다. 따라서 시스템 간에 서로 연계가 잘 되고 BRM을 '표준적인 정부기능분류시스템'이라고 볼 수 있는 것임.

*단위과제카드: 속성정보,유관정보,업무처리절차,지식정보가 기술되어 있다. 기록철의 메타데이터라고 할 수 있음.

*기록철(=단위과제철): 단위과제 카드별로 형성된다.(=폴더 검색시 이용)

*단위과제카드가 만들어져야 단위과제철이 有/단위과제철이 모여서 '단위과제'가 완성됨.

-2006년: 정부 BRM에 근거한 새로운 기록분류체계가 적용되기 시작함.

기록관리 메타데이터

1) 기록의 생애주기 동안 기록을 관리,검색,이용하는 데 필요한 기록에 관한 데이터

2) 기록의 맥락과 내용, 구조와 일정기간에 걸친 기록관리 이력을 기술한 데이터

-네 가지 기술영역=내용+구조+맥락+관리내력

*관리내력 기술이유: 관리하는 동안 의도적인 위조,변조,사고로 인한 변경이 없었다는 것을 증명해야 증거로서 가치를 유지하기 때문에

-수행해야 하는 기능(★★★)

1) 기록을 찾고 이해할 수 있도록 지원해야 한다.

2) 기록관리의 전 과정을 지원한다. 모든 업무를 지원할 수 있는 정보를 제공해야  함-투명성 제고

3) 기록의 진본성,무결성,신뢰성,이용가능성을 보장한다.(ISO15489가 제시한 기록의 품질요건)

-기록관리 메타데이터의 주요 영역과 그 관계=기록+행위주체+업무+법규+기록관리업무

*ISO23081-1&ISO23081-2를 국가표준으로 그대로 수용

국가기록원은 공공기관의 기록관리시스템에 필요한 메타데이터 요소 표준을 2007년에 정함. 2012년에 개정판 제정(기록생애주기 전반으로 적용범위 확장)

보존기록의 조직화

보존기록의 정리

-준현용기록은 '분류'라하고 보존기록은 '정리'(Archival arrangement)라고 하는 이유

정리란 보존기록을 출처의 원칙 등에 맞추어 기록을 계층별로 조직하는(분류)지적이고 물리적인 처리 과정을 말한다. 정리 과정에는 포장,라벨 부착,서가 배치 등 소장기록을 물리적으로 통제하기 위한 작업들이 포함된다는 점을 강조하기 위하여 정리란 단어를 사용하였다. 즉, 분류 작업뿐 아니라 보존에 필요한 부가적인 요소들도 포함하는 활동을 말하기 위해서 분류를 포함하는 단어인 정리를 선택하였다.

-왜 준현용기록에서 사용한 분류체계를 보존기록에서 그대로 따르지 못하는가?

준현용기록과 비현용기록은 출처의 원칙과 원질서의 원칙에 따라 분류된다. 하지만 이 원칙을 적용하는 데에는 약간의 차이가 발생한다. 준현용기록은 생산된 정보를 처음 상태에서 분류하지만, 비현용기록은 이미 한번 분류된 기록을 다시 정리해야 한다. 여러 기관에서 이관된 정보들은 큰 분류체계는 같겠지만 각 기과느부서마다 갖는 세부 분류체계가 제 각각일 것이다. 이런 기록들을 다루기 위해서는 범용적으로 적용 가능한 새로운 분류체계를 만들어야 한다. 즉, 이관된 기록들의 분류체계를 어느정도 유지하면서 분류해야 한다는 것이다.

또한, 이관되면서 보존되지 않는 기록이 속한 분류체계까지 반영할 필요가 없기 때문이다.

보존기록 조직화의(정리) 발전 모습

-분류작업뿐 아니라 포장,라벨 부착,서가 배치 등 소장기록을 물리적으로 통제하기 위한 작업들을 일컬었다.→전자기록물 시스템의 확산으로 물리적 통제의 의미가 약화되면서, 정리는 기록에 논리적 질서를 부여하는 과정 자체를 의미하게 됨.

두 원칙의 변화

-한 부처에서 생산한 기록은 함께 보존해야 한다는 '퐁 존중의 원칙'이 나오고 출처의 원칙으로 계승되었다. /이와 함께 생산기관이 수립한 원래의 분류 및 편철 구조를 유지해야 한다는 '원질서의 원칙' 등장.→출처가 조직의 '구조'와'위치'보다는 '기능'과'활동'과 관련된 개념으로 정리되었고 이는 기능분류체계 개발의 중요한 이론적 근거가 되었다. 그래서 보존기록 정리의 원칙은 '업무활동이나 기능 등의 생산맥락에 기초'한다고 정의됨..→현용,준현용 기록분류와 일맥상통

-출처의 원칙이나 원질서의 원칙이나 모두 기록의 증거가치를 보존하기 위한 것이다.

보존기록 정리체계의 역할

-정리의 결과로 형성되는 보존기록의 계층=기록군+기록하위군+기록시리즈+기록철+기록건 등

보존기록 정리하는 목적

1) 보존기록은 조직이나 개인의 활동의 증거로 재현될 수 있을 때 비로소 가치가 실현된다. 따라서 보존기록의 정리도 기록이 생산·활용되는 시점의 질서를 '논리적으로' 규명하는 걸 목표로 해야한다.

2) 기술의 단위를 정하는 기준이 된다. 문헌은 개별단위로 목록을 기술한다. 하지만 기록은 전체 기록군 속에서의 유기적이고 계층적인 관계를 고려하여 기술되어야 한다. 건단위나 철단위로만 기술하는 것이 아니라 시리즈, 군 중심으로 기술해야 한다.

3) 보존기록의 이해와 검색을 지원하는 작업이다. 기록은 전체 기록 덩어리 속에서 보아야만 그 의미를 파악할 수 있기 때문에, 맥락의 보존이란 측면에서 보존기록의 정리는 중요하다.

4) 검색 도구 개발뿐만 아니라 보존기록의 공개관리, 재평가, 처분 등의 업무에 활용할 수 있다.

보존기록의 정리와 관련한 유의할 점

1) 문헌분류와는 달리, 모든 보존기록에 보편적으로 적용할 수 있는 분류체계가 존재하지 않는다./보존기록을 위한 분류체계를 개발해야(기록을 계층화한다는 뜻) 함.

2) 각급 기관의 준현용 기록분류체계를 보존기록분류체계에 그대로 반영할 수 없다. 그래서 '계층화'를 통해 정리를 하고 그 맥락을 전달해주는 게 낫다.(시간이 흐르면서 준현용 기록분류체계도 변하고 조직도 변하니까)

3) 보존기록의 정리체계에 따라 기록의 물리적 위치가 결정되지는 않는다.(서가 위치하고는 관련이 X. 이용보다는 보존의 개념이 큼)

※기록조직화의 4대원칙(기록의 현용·준현용·비현용 상관없이 다 적용됨)

-출처의 원칙

-원질서의 원칙: 기록이 생산된 순서를 지켜줘서 맥락이 확인될 수 있도록

-계층적 관리의 원칙(=다계층 기술의 원칙)

"하나의 기록물을 이해하기 위해서는 다계층 기술을 참고해야한다."

일반적인 것에서부터 특수한 것을 기술해야 한다./기술되는 기록 계층에 적절한 정보만을 기술해야 한다./각 기술을 연결해야 한다./정보를 반복하여 기술하지 않아야 한다.

-집합적 기술의 원칙

기술의 단위는 '건'이 아니라 '철'이다.

나무보다 먼저 숲을 보여준다(쉘렌버그)

기록건보다 상위의 기록 집합체인 기록군,하위군,시리즈,하위 시리즈,철에 대한 기술을 개괄적으로 해줄 경우, 기록이 생산된 전후 맥락, 어떤 업무 및 어떤 조직과 관련된 기록인지를 파악할 수 있다./ 기록의 구조,맥락,내용,관리 이력이 포함되어야 한다.

보존기록의 기술(Archival description)

-보존기록 조직의 4대 원칙(출처의 원칙+원질서 보존의 원칙+집합적 기술의 원칙+다계층 기술의 원칙)

기술의 목적

-'기술'은 원래 비현용기록(=보존기록)을 대상으로 하는 행위임.이용이 끝난 상태니까.

따라서, 현용·준현용 단계에서의 메타데이터는 보존기록의 기술이 된다.

-이용자가 원하는 자료를 찾을 수 있도록 지원하는 도구라는 점에서 도서관의 목록과 그 기본 기능이 같다.

-다른점

1) 기록 기술은 도서관 목록에 비해 길다. 목록은 서지정보가 절제된 형식으로 요약,기술되어 있지만 기록 기술은 많은 항목들에 대해 서술적으로 작성된다. 이는 보존기록이나 준현용 기록이나 둘 다 내용,구조,맥락,관리 및 이용내역에 대한 정보가 중요하기 때문이다.

2) 기록은 서지적 관점에서 보면 정련된 구조를 갖추고 있지 않다. 도서의 경우 표제지와 같이 목록을 위한 정형화된 정보원을 내재하고 있지만, 기록에는 기술에 필요한 정보들을 추출할 수 있는 원천이 없는 경우가 많다. 기록은 업무 외의 이용이나 검색을 목적으로 생산되는 경우가 드물기 때문이다.

So,  보존기록 기술을 위한 표준

-국제적 차원의 기술 규칙(General International Standard on Archival Description: ISAD(G))

/다계층 기술의 원칙 강조. 26개의 기술요소를 제시함.

=식별영역+맥락영역+내용과 구조 영역+열람과 이용조건 영역(준현용에서는 생산에 초점 맞춤)+연관자료 영역+주기영역(기록이 안되지만 이해를 돕기 위해 추가적인 정보가 필요할 때)+기술통제영역(사서들만 봄)

-국가기록원에서 영구기록물 기술규칙

=식별(기술 단위를 식별하는데 필요한 필수정보)+배경+내용과 구조+접근과 이용환경+관련자료+추가설명+기술통제

-ISAD(G)의 목적

>일관성있고 적절하며 완결성 있는 기술의 생산

>기록에 대한 정보검색과 교환의 촉진

>전거데이터와의 원활한 연계

>여러 곳에 산재하는 기술을 하나의 정보시스템으로 통합하는것 지원

보존기록을 위한 검색도구

-보존기록을 정리하고 기술하는 목적은 결국, 효율적이고 유용한 검색도구를 만들기 위해서다.

-검색도구=수직 모형+수평모형

*수직모형: 컬렉션계층부터 각 계층까지 계층별로 기술하는 경우로 기본적인 검색도구이다.

맥락을 중시하는 출처기반 접근법

cf) 인벤토리: 기록 이용시 필요한 유사 정보 제공

*수평모형: 출처를 넘나들며 동일한 주제를 가진 기록들을 모아서 제시한다. 주제기반 접근법. (특정 주제 기록을 위한 가이드, 주제·이름 색인,목록이 있다.)