01. 프로젝트 개요
AI는 ERP 구축의 어느 공정까지 수행할 수 있으며, 어떤 업무 판단과 검증은 사람에게 남는가?
성공의 정의
ERP 화면이 동작하는 것만으로 성공으로 판단하지 않는다. 핵심 시나리오가 승인된 수용 기준을 통과하고, 사람이 수정한 부분과 AI 생성 결과를 구분하여 재현 가능한 근거를 남겨야 한다.
02. 추진 배경과 문제 정의
전통적인 기업시스템 구축은 업무 분석, 요구사항 정의, 설계, 개발, 검수, 운영 전환에 다수의 역할을 투입한다. 생성형 AI는 문서·코드·테스트 초안을 빠르게 작성하지만, 기업마다 다른 업무 규칙과 예외 처리, 내부통제, 연계 환경까지 정확하게 구현하는지는 별도 검증이 필요하다.
실증으로 답할 질문
- 전문가 1인과 AI가 기존 여러 역할의 작업을 어느 수준까지 수행할 수 있는가?
- 범용 AI와 표준 스킬 기반 AI의 품질·시간·재작업 차이는 어느 정도인가?
- 업무 분석·아키텍처·데이터 이행 중 어떤 공정에서 사람 개입이 집중되는가?
- AI가 생성한 산출물이 다음 공정에 입력 자료로 재사용 가능한가?
- AI 활용이 총비용을 줄이는가, 아니면 검증·수정 비용으로 이전되는가?
03. 실증 대상과 범위
업무 흐름
필수 검증 시나리오
| ID | 시나리오 | 검증 포인트 |
|---|---|---|
| SC-01 | 정상 발주·입고·매입 | 상태 전이, 수량·금액 정합성 |
| SC-02 | 부분 입고 및 잔량 | 미입고 수량, 발주 잔량 |
| SC-03 | 중복 입고 요청 | 중복 방지, 멱등성 |
| SC-04 | 입고 취소·반품 | 재고 복원, 거래 이력 |
| SC-05 | 단가·세액·반올림 | 금액 계산 기준 |
| SC-06 | 마감 후 수정 요청 | 권한·통제·예외 처리 |
| SC-07 | 동시 수정 | 동시성, 데이터 충돌 |
| SC-08 | 오류·재시도·복구 | 트랜잭션, 롤백, 로그 |
각 업무 규칙은 예시이며, 고객 자료 확인 후 실제 규칙으로 확정한다. 실제 데이터 사용 시 동의·비식별화 및 접근 통제를 선행한다.
범위 제외
1차 실증에서는 전체 ERP 패키지, 다법인 연결회계, 실은행 이체, 운영 중인 고객 시스템 직접 변경, 법규 적합성의 공식 인증을 제외한다.
04. 검증 가설과 판정 원칙
| 가설 | 검증 방법 | 판정 방식 |
|---|---|---|
| H1. AI+전문가 1인이 복수 역할의 일부 업무를 수행한다. | 공정별 작업 수행 범위·사람 개입 기록 | 공정별 독립 수행·수정·승인 비율 |
| H2. 전문 스킬이 범용 AI보다 품질을 개선한다. | 동등 난이도 과제 B/C 비교 | 승인률·누락률·재작업·시간 |
| H3. 업무 판단과 정합성 검증은 주요 병목이다. | 개입 사유 및 결함 원인 분류 | 공정별 시간·결함 분포 |
| H4. AI는 초안 시간을 줄이지만 검증 부담을 늘릴 수 있다. | 생성·검토·수정·재검증 시간 분리 | 총 소요시간·총비용 비교 |
05. 비교 실험 설계
실험 실행 절차
과제·정답 기준 사전 확정
요구사항·업무 규칙·정상/예외 시나리오와 독립 평가표를 먼저 확정한다.
입력 자료 고정
인터뷰 기록, 기존 화면, DB 스키마, 업무 문서의 버전을 고정한다.
실험 수행 및 기록
프롬프트·모델·스킬 버전·생성 시간·사람 수정 시간을 작업 ID별로 기록한다.
독립 검증
가능하면 산출물 작성자와 다른 검토자가 정해진 기준으로 평가한다.
원인 분석
성공·실패 원인을 모델 한계, 자료 부족, 스킬 설계, 사람 판단, 환경 문제로 분류한다.
과거 프로젝트와의 비교는 범위·복잡도·숙련도 차이 때문에 참고 지표로 취급한다. 정확한 인과 효과를 주장하려면 반복 실험이 필요하다.
06. 기업시스템 구축 8개 공정별 실증
| 단계 | AI 수행 과제 | 사람의 검증·승인 | 단계 완료 증거 |
|---|---|---|---|
| 01 착수·조직 | WBS, 역할표, 위험 목록 초안 | 범위·우선순위·예산·책임 확정 | 착수계획서, RACI, 범위 기준선 |
| 02 현행 업무 분석 | 업무 기능 분해, AS-IS 흐름, 인터뷰 질문 | 현장 사실·업무 예외 확인 | AS-IS 정의서, 근거표, 확인 이력 |
| 03 요구사항 정의 | 기능·비기능 요구사항, 수용 기준 | 업무 규칙·범위·우선순위 승인 | 요구사항 목록, RTM |
| 04 아키텍처 설계 | 시스템 구조·DB·보안·연계 대안 | 기술 선택·보안·운영 위험 판단 | ADR, 구성도, 위협 검토 |
| 05 상세 설계 | 화면·API·테이블·배치·오류 명세 | 업무·데이터 일관성 검증 | 상세 설계서, 인터페이스 명세 |
| 06 개발·단위 테스트 | 코드, 테스트 코드, 정적 분석 수정 | 핵심 로직·보안 코드 리뷰 | 커밋, 테스트 결과, 코드 리뷰 |
| 07 통합 테스트·검수 | 시나리오, 자동 실행, 결함 재현 | 업무 결과·정합성·수용 판정 | 테스트 증적, 결함대장, 승인 |
| 08 이행·운영 전환 | 이행 스크립트, 운영 문서, 배포 자동화 | 대사·복구·운영 승인 | 이행 결과, 롤백 테스트, 인계서 |
공정별 공통 기록 양식
작업ID / 입력자료 버전 / AI 모델·스킬 버전 / AI 산출물 / 검토자 / 수정 내역 / 생성시간 / 검증시간 / 결함 / 승인상태 / 다음 공정 연결ID
07. 사람·AI 역할 및 스킬 체계
| 역할/스킬 | 주요 책임 | 구축 상태 |
|---|---|---|
| 프로젝트 총괄(사람) | 업무 판단, 범위 통제, 검증, 승인, 고객 소통 | 필수 |
| handsmate-as-is-analyst | 업무 분해, 현행 프로세스, 규칙·예외, 근거 추적 | 신규 설계 후보 |
| handsmate-accounting-architect | 회계 도메인 지식·표준 분석 및 설계 지원 | 기존 스킬 연계 검토 |
| requirements-analyst | 요구사항 ID, 수용 기준, RTM, GAP | 설계 후보 |
| solution-architect | 기술 대안, 데이터·연계·보안 설계 | 설계 후보 |
| developer / qa-analyst | 코드 생성, 테스트 자동화, 결함 분석 | 설계 후보 |
스킬 표준 인터페이스
각 스킬은 입력 자료 목록, 수행 절차, 금지된 추정, 필수 질문, 출력 템플릿, 검증 체크리스트, 종료 조건을 갖춘다. 단계 간 산출물 ID와 버전을 유지한다.
역할 분리 원칙
- AI 에이전트가 서로 검토하더라도 최종 승인자를 대체하지 않는다.
- 업무 규칙은 원천 자료 또는 담당자 확인을 통해서만 확정한다.
- 회계·금액·재고 변경 로직은 독립된 테스트와 대사를 수행한다.
- 개발 스킬과 검증 스킬의 기준은 분리해 자기 검증 편향을 줄인다.
08. 표준 산출물과 추적 체계
| 산출물 | 최소 포함 항목 | 검증 기준 |
|---|---|---|
| AS-IS 업무 분석서 | 업무 계층, 수행자, 입출력, 규칙, 예외, 근거 | 업무 담당자 확인 |
| 요구사항 정의서 | FR/NFR, 우선순위, 수용 기준, 근거 | 누락·모순 검토 |
| 아키텍처 설계서 | 구성도, 기술 결정, 보안, 데이터, 연계 | 대안·위험·운영성 검토 |
| 상세 설계서 | 화면, API, 데이터, 오류, 배치, 권한 | 요구사항 추적 |
| 구현 결과 | 소스, 실행환경, 빌드·배포 방법 | 재현 가능한 빌드 |
| 테스트 결과서 | TC, 실행 로그, 기대·실제, 결함 | 수용 기준 통과 |
| 운영 전환 자료 | 이행·대사·복구·인계·운영 절차 | 복구 시연 및 승인 |
| 실증 결과 보고서 | 생산성, 비용, 품질, 한계, 실패 사례 | 측정 근거 재현 |
09. 실증 평가 지표
| 지표 | 계산·측정 | 해석 시 주의 |
|---|---|---|
| 총 투입시간 | AI 실행 대기 + 사람 준비·검토·수정·재검증 시간 | 중복 시간 집계 방지 |
| 초안 승인률 | 주요 수정 없이 승인된 초안 / 검토 초안 | 승인 기준 사전 고정 |
| 요구사항 충족률 | 검증 통과 요구사항 / 검증 대상 요구사항 | 미검증 항목 별도 표시 |
| 결함 밀도 | 심각도별 결함 수 / 정의된 기능·시나리오 규모 | 분모의 일관성 유지 |
| 재작업률 | 수정·재생성·재검증 시간 / 총 작업 시간 | 원인별 분류 |
| 사람 개입률 | 사람의 판단·수정이 필요한 작업 / 전체 작업 | 단순 승인과 실질 수정 구분 |
| 데이터 정합성 | 수량·금액·상태 대사 통과 / 전체 대사 건수 | 핵심 거래는 100% 통과 목표 |
| 총비용 | 인건비 환산 + 모델 사용료 + 인프라 + 재작업 비용 | 공통비 배분 기준 명시 |
1차 시범 목표 검증 전 가정
초안 작성시간 30% 이상 감소, 필수 업무 규칙 누락 0건, 핵심 업무 시나리오 100% 통과, 중요도 상·치명 결함 0건을 초기 목표로 설정한다. 이 수치는 연구 결과나 달성 성과가 아니며 착수 시 현실성을 재검토한다.
결과 판정
- 가능: 정해진 수용 기준을 통과하고 재현 가능함.
- 조건부 가능: 사람 수정 또는 제한 조건 아래 수용 기준을 통과함.
- 사람 주도 필요: 핵심 판단·검증이 AI만으로 수행되지 않음.
- 미확인: 자료 부족 또는 실험 범위 밖으로 판단 불가.
10. 8주 추진 일정 및 게이트
| 기간 | 주요 활동 | 완료 게이트 |
|---|---|---|
| 1주 | 범위·실험 설계·데이터 준비·기준선 확보 | G0: 실증 계획 승인 |
| 2주 | AS-IS 분석, 인터뷰, 근거 관리, 스킬 초안 | G1: 현행 분석 확인 |
| 3주 | 요구사항·수용 기준·RTM 작성 | G2: 요구사항 기준선 승인 |
| 4주 | 아키텍처·상세 설계, 보안·데이터 검토 | G3: 설계 검토 통과 |
| 5~6주 | 구현·단위 테스트·코드 리뷰·수정 | G4: 빌드 및 단위 테스트 통과 |
| 7주 | 통합 테스트·예외·정합성·보안 검증 | G5: 핵심 시나리오 통과 |
| 8주 | 이행·복구·운영 문서·최종 비교 평가 | G6: 결과 보고서 승인 |
11. 품질·보안·위험 관리
| 위험 | 예방·대응 | 중단 조건 예시 |
|---|---|---|
| 업무 규칙 환각 | 출처·확인 상태 필수, 미확인 규칙 자동 확정 금지 | 중요 업무 규칙 오판 지속 |
| 금액·재고 불일치 | 독립 기대값, 거래 대사, 경계값·동시성 테스트 | 핵심 대사 불일치 |
| 개인·거래 정보 노출 | 합성/비식별 데이터, 접근 최소화, 로그 점검 | 민감정보 외부 전송 발견 |
| 취약 코드·의존성 | 코드 리뷰, 취약점 검사, 비밀정보 탐지 | 미해결 치명 취약점 |
| 평가 편향 | 사전 수용 기준, 비교 조건 통제, 독립 검토 | 비교 조건 재현 불가 |
| 배포·복구 실패 | 테스트 환경 우선, 백업·롤백 리허설 | 복구 절차 검증 실패 |
승인 원칙
AI는 제안·생성·점검을 수행하고, 고객 업무 확정, 보안 예외, 데이터 변경, 배포, 운영 전환의 최종 승인은 사람이 담당한다. 실증 중 운영 데이터나 운영 서버를 직접 변경하지 않는다.
12. 수행 자원과 비용 관리
비용 기록표
| 항목 | 집계 단위 | 기록 기준 |
|---|---|---|
| 사람 투입 | 시간 × 기준 단가 | 준비·검토·수정·테스트 분리 |
| AI 사용 | 요청/토큰/과금액 | 모델·실험군별 기록 |
| 개발 환경 | 서버·DB·도구 사용료 | 공통 비용 배분 기준 명시 |
| 재작업 | 시간 및 결함 수 | 원인·공정·수정 횟수 기록 |
구체적 금액은 도구·사용량·인력 투입 조건이 확정되지 않았으므로 임의 산정하지 않았다.
13. 최종 보고서 및 대외 공개 전략
최종 보고서 권장 목차
- 실증 개요 및 검증 가설
- 대상 업무와 범위, 자료의 한계
- 8개 공정별 AI·사람 수행 내용
- 범용 AI와 전문 스킬 비교 결과
- 시간·비용·품질·정합성 지표
- 대표 실패 사례와 원인 분석
- 사람의 판단이 필요한 업무 분류
- 재현 조건 및 후속 실증 제안
공개 원칙
공개 가능한 사례는 고객 동의가 있는 자료에 한정한다. 고객명·화면·업무 규칙·데이터·계약 정보는 별도 동의 없이 노출하지 않는다. 'AI가 ERP를 완전 자동 구축했다'와 같은 과장된 표현을 피하고, 실증 범위와 사람 개입 정도를 함께 제시한다.
“AI 기반 ERP 구축 8개 공정을 실제로 수행하며, AI의 가능성과 한계, 사람의 역할 변화를 검증했습니다.”
14. 착수 전 결정 및 체크리스트
- □ 실증 업무 범위 및 제외 범위 확정
- □ 고객 자료 활용·공개 동의 범위 확인
- □ 업무 규칙과 독립 테스트 기대값 확보
- □ AI 모델·Codex 버전 및 사용 조건 고정
- □ 기존 방식 기준선 확보 가능 여부 판단
- □ 범용 AI / 전문 스킬 실험 과제 확정
- □ 공정별 산출물 템플릿·ID 규칙 확정
- □ 검토자·승인자·중단 기준 확정
- □ 투입시간·비용·결함 기록 방법 준비
- □ 테스트 환경·백업·복구 검증 준비
즉시 착수할 첫 작업
발주 → 입고 → 재고 → 매입 흐름에서 정상 처리 1개와 예외 처리 2개를 선택하고, 기존 업무 자료를 기반으로 AS-IS 분석을 수행한다. 같은 자료를 범용 AI와 handsmate-as-is-analyst 후보 스킬에 제공해 분석 누락·정확성·사람 수정 시간을 비교한다.
① 실증 대상 업무 확정 ② 검증 참여자 선정 ③ 테스트 자료 준비 ④ 8주 일정 승인. 이 네 항목이 확정되면 실행계획과 WBS를 기준선으로 등록한다.