PCN, ‘빅데이터SW’를 개발

작성일 2021-10-26조회수 266

PCN이 개발한 솔루션은 빅데이터 수집 모듈, 전처리 모듈, 프로파일링 모듈, 시각화 모듈 등으로 구성되어 있고 프로파일분석에‘증강분석’이라는 AI 기반 분석기법을 적용하여 한 차원 높은 단계의 전처리 성능과 프로파일링 성능을 높일 수 있습니다.

 

㈜피씨엔은‘빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링 플랫폼 개발’R&D과제(``19~``21)를 통해‘㈜디지탈쉽’및’세종대학교’와 공동으로 연구에 참여하여‘빅데이터 증강분석 프로파일링 플랫폼 SW’를 개발하였습니다. 
사용자는 수집 모듈을 통해 수집된 데이터에 대해 전처리 프로파일링 모듈을 이용하여 데이터 샘플링을 통한 분석 결과를 확인할 수 있으며, 샘플링 분석 결과를 토대로 사용자 레시피를 만들 수 있고 이후 해당 데이터와 동일 구조의 데이터는 별도의 작업 없이 데이터 전처리의 자동 수행이 가능합니다.
각각의 데이터 도메인(항목)은 숫자, 텍스트, 날짜 등과 같은 고유한 특징을 가지고 있으며 이러한 특징을 사용자 유형에 기반하여 분석하고, 분석된 결과를 메타데이터로 프로파일링하여 시각적으로 표시하고 도메인 별 메타 프로파일링 결과는 총계, 최대/최소값, 평균값과 같이 통계적 수치로 표현하여 사용자가 직관적으로 이해할 수 있도록 편의성을 제공하였습니다. 
이러한 수집부터 프로파일링까지의 전 과정에 대해 다수의 사용자가 효율적으로 빅데이터 처리 업무를 수행할 수 있도록 협업플랫폼이 편리하게 지원하도록 구성되어 있습니다.
피씨엔은 이러한 빅데이터 플랫폼을 이용하여 기존 빅데이터 분석 프로세스상에서 가장 시간과 비용이 많이 소요되는 단계인 수집-전처리 업무를40~50% 이상 향상시킬 수 있을 것으로 보았습니다. 또한 고도화 작업을 통해 해당 솔루션에 대해서 실시간 데이터에 대해서도 증강분석을 통해 신속한 전처리 작업이 이루어질 수 있도록 R&D를 지속적으로 수행 중이며 ``21년도에는 한층 업그레이드된 버전을 준비하고 있습니다.