flask(플라스크) + darkflow YOLO/GCP로 트레이닝한 모델 테스트해보기/ajax활용한 웹

ML 팀(수현,현주,연수)

 

1.

0~9, a~z 각 200개씩 2000번 트레이닝시킴. (약 9~10일 소요. 크레딧 $200 소요)

트레이닝된 cfg,pb,meta ==> web팀에 넘김.

2.

(수현) 테스트하기 위해 파일명 맨 앞에 해당되는 라벨명 붙여서

실제 라벨과 예측 결과(json)에서 confidence 가장 높은 라벨과 비교하는 방식으로 테스트함.

 

순서대로 알파벳, 숫자(0~9) 테스트 결과

보다시피 숫자는 잘 디텍트했지만 알파벳은 잘 디텍트하지 못했음.

모델 개선과 더 많은 데이터 트레이닝이 필요함.

 

3. 

해상도 체크해보기(YOLOv3-tiny는 기본적으로 416x416으로 Resizing한 뒤 학습을 하도록 설정이 되어 있기 때문에(출처: https://murra.tistory.com/ [Murra Blog])

앞으로 트레이닝할 데이터들은 이 해상도에 맞추기로 함.

 

또한 손만 있는 데이터말고 얼굴이 같이 있는 것과 같이 다양한 환경의 데이터 셋을 구해보기로 함.

 

4.

(연수, 현주)

<알파벳>
• https://www.kaggle.com/danrasband/asl-alphabet-test#A0003_test.jpg
• https://www.kaggle.com/mrgeislinger/asl-rgb-depth-fingerspelling-spelling-it-out#color_1_0010.png
    o 가끔 얼굴 있는 것도 있음.
    o 5명이 만듦
• https://www.kaggle.com/grassknoted/asl-alphabet#C_test.jpg
• https://www.kaggle.com/lucasvieirademiranda/aslalphabet#H0005_test.jpg
• https://www.kaggle.com/kuzivakwashe/significant-asl-sign-language-alphabet-dataset#A0 (4).jpg
    o 얼굴 있음.
• https://www.kaggle.com/rajarshighoshal/asltestimages#2019-02-26-100733.jpg

    o 얼굴 있음, 해상도 되게 높음.

    o 파일은 되게 적음(알파벳당 4~6개)
• https://www.kaggle.com/muhammadkhalid/sign-language-for-alphabets
    o 침대 위 알파벳
• https://www.kaggle.com/ayuraj/asl-dataset#hand1_0_right_seg_5_cropped.jpeg   
    o 우리가 알파벳 트레이닝시켰을 때 걔 같은데 그 때 digits들은 안해서 여기서 들고 와도 될듯
• 의외로 digit datasets이 잘 안보임… 더 찾아보겠음

 

5.

회의 결과

https://www.kaggle.com/muhammadkhalid/sign-language-for-alphabets 

Sign Language for Alphabets

먼저 하기로 함, 

라벨링 역할 분담

a-i :연수
j-r: 수현
s-z+unknown: 현주언니

 

---

 

WEB팀 (지영,현주,연수)

 

코드 >

https://github.com/yskim0/Handlang/tree/master/Web/

 

1.

트레이닝된 모델(darkflow)을 flask에 deploy 해보기

 

2. 

1번 + ajax 활용해서 사용자 키보드 인터럽트 받기

 

 

enter키 받으면 페이지 바뀌지 않고 예측 시작됨 (ajax)

예측되는 라벨이 바뀔 때마다 오른쪽 predict label 칸의 text도 바뀜

 

 

우리 모델의 정확도가 낮아서 원래 YOLO모델과 weights로 테스트함.