2-1 제품 서비스의 개발방안

2-1-1. 제품 서비스의 개발 방안(사업 전체 로드맵)

제목

검색엔진 크롤링을 통한 기업정보 데이터 구축 프로그램

주요분기점

1) 크롤링시스템 구축

2) 기반데이터 분석 중앙시스템 구축

3) 데이터 가공 시스템 구축

중간결과

다수의 검색엔진 데이터를 주요키워드로 구분하여 검수 및 데이터 구조화를 통한 중앙시스템 통합 데이터베이스 구축

순서

1) 키워드 입력을 통한 사이트 도메인 추출

2) 추출된 도메인을 통한 사이트 분석

3) 기반 데이터 생성

4) 기반데이터 분석을 통한 후보키워드 제안

5) 사용자의 검수(후보키워드 결정 및 추가등록)

6) 검수된 데이터 중앙시스템 전송

7) 데이터 가공의 자동화 및 거대화

8) 검색시스템 구축

기술

클라이언트 및 중앙시스템 구분

1) 클라이언트

- 크롤링진행할 웹기반 프론트엔드 시스템(Node 8.X , mariaDB 10.1.x)

2) 중앙시스템

- 데이터 가공을 담당할 시스템(Python 3.x , CentOs 6.x)

최종 활용방안(목적)

1) 적어주세요

2) 시스템 판매 후 수집데이터는 중앙시스템에 전송하여 데이터 거대화의 가속

사업 추진일정

추진내용	추진기간	세부내용
크롤링시스템 구축	19.06.03 ~ 19.06.21	키워드 입력을 통한 사이트파싱
분석을 통한 키워드 추출	19.06.24 ~ 19.08.06	파싱데이터를 분석후 후보키워드 추출
데이터가공 시스템	19.08.19 ~ 19.11.22	사용자의 검수 (후보키워드 결정 및 추가등록)
데이터 통합	19.11.25 ~ 20.01.17	중앙시스템에 데이터 전송후 가공 및 거대화
검색시스템 구축	20.01.20 ~ 20.02.21	가공된 데이터 검색시스템 구축

기간 내 목표 및 달성방안

1) 다수의 검색엔진 데이터를 주요키워드로 구분

- 노드JS를 사용한 크롤링시스템 구축

- KO알고리즘을 통한 키워드 추출

- 다양한 유형의 사이트 분석

2) 검수 및 데이터 구조화

- 다양한 유형의 garbage데이터 수집을 통한 검수기준 수립

- 사용자 검수를 위한 UI/UX구축

3) 중앙시스템 통합 데이터베이스 구축

- 효율적인 검색을 위한 데이터모델 수립

- 수립된 데이터모델이 따른 데이터 가공

- 데이터가공 자동화

사업 추진일정

추진내용	추진기간	세부내용
크롤링시스템 구축	19.06.03 ~ 19.06.21	키워드 입력을 통한 사이트파싱
분석을 통한 키워드 추출	19.06.24 ~ 19.08.06	파싱데이터를 분석후 후보키워드 추출
데이터가공 시스템	19.08.19 ~ 19.11.22	사용자의 검수 (후보키워드 결정 및 추가등록)
데이터 통합	19.11.25 ~ 20.01.17	중앙시스템에 데이터 전송후 가공 및 거대화

고객 요구사항에 대한 대응방안

1) 동종업계 자체 데이터 수집하는 회사

- 자체 데이터 수집이 아닌 외부에 판매 후, 판매 시스템에서도 데이터 수집을 통한 데          이터 거대화 가속

- 빠른 데이터 거대화를 통한AI 로 효율적이고 정확한 사이트 분석 및 키워드 제안

- 구축비용 절감

2) 알고리즘을 수정하고 싶어 하는 고객의 니즈

- 알고리즘을 추가할 수 있도록 별도의 기능 제공