5. 딥러닝을 위한 자율 주행 데이터 획득

5-0. 카메라 셋팅 변경

• 자율주행 자동차의 카메라를 [CAM1] 홀으로 위치를 변경 시킨다.
• 실제 자동차도 운전석의 앞바퀴쯤에 카메라가 위치한다.

카메라 배치도 전방 두 LED까지 보이도록 배치한다

5-1. 키보드 입력 감지하기

• 딥러닝 모델을 구축하기 위해선 다량의 데이터가 필요하다.
• 좀 더 정교한 차선 데이터를 수집하기 위해서 일정 부분 수작업으로 데이터를 수집할 필요도 있다.
• 시그널 통신을 통한 조작은 생각보다 불편한 부분이 많아 openCV의 키보드 입력 감지 함수를 사용한다.

1. 키보드 입력 감지 프로그램 (key1.py)

import cv2
import RPi.GPIO as gpio
import time

def main():
    camera = cv2.VideoCapture(0)
    camera.set(3, 640)
    camera.set(4, 480)
    
    if camera.isOpened() == False:
        raise Exception("error")
        
    while camera.isOpened():
        key = cv2.waitKey(10)
        
        if key != -1: # 키보드 입력이 없을 때는 -1이 반환된다.
            print(key)
        
        if key == ord('q'):
            break
            
        _, img = camera.read()
        img = cv2.flip(img, -1)
        cv2.imshow('img', img)
        
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    cv2.waitKey(0)
        
if __name__ == '__main__':
    main()

• ord() 함수는 파라미터로 입력된 값을 키보드의 값으로 변환해주는 함수이다.

2. 키보드 활살표를 누르면 감지하는 프로그램 (key2.py)

• 자동차를 움직이기 위해 키보드의 화살표 번호를 찾아 틀을 만들어주도록 하자.
• 화살표가 불편하다면 (w,a,s,d) 자판이나 (u,h,j,k) 같은 자판도 좋을 것이다.

import cv2
import RPi.GPIO as gpio
import time

def main():
    camera = cv2.VideoCapture(0)
    camera.set(3, 640)
    camera.set(4, 480)
    
    if camera.isOpened() == False:
        raise Exception("error")
        
    while camera.isOpened():
        key = cv2.waitKey(10)
        
        if key == ord('q'):
            break
        elif key == 82:
            print("up")
        elif key == 84:
            print("down")
        elif key == 81:
            print("left")
        elif key == 83:
            print("right")
            
            
        _, img = camera.read()
        img = cv2.flip(img, -1)
        cv2.imshow('img', img)
        
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    cv2.waitKey(0)
        
if __name__ == '__main__':
    main()

3. 키보드 입력으로 자동차를 움직여보자 (key3.py)

import cv2
import RPi.GPIO as gpio
import time


PWMA = 18
AIN1 = 22
AIN2 = 27

PWMB = 23
BIN1 = 25
BIN2 = 24

M = [18, 22, 27, 23, 25, 24]


gpio.setmode(gpio.BCM)

for i in M:
    gpio.setup(M, gpio.OUT)
    
L_M = gpio.PWM(PWMA, 100)
L_M.start(0)
R_M = gpio.PWM(PWMB, 100)
R_M.start(0)

def drive(speed, left, right):
    gpio.output(AIN1, left)
    if left <= 0:
        left2 = 1
    else:
        left2 = 0
    gpio.output(AIN2, left2)
    L_M.ChangeDutyCycle(speed)
    
    gpio.output(BIN1, right)
    if right <= 0:
        right2 = 1
    else:
        right2 = 0
    gpio.output(BIN2, right2)
    R_M.ChangeDutyCycle(speed)
    


def main():
    camera = cv2.VideoCapture(0)
    camera.set(3, 640)
    camera.set(4, 480)
    
    if camera.isOpened() == False:
        raise Exception("error")
        
    while camera.isOpened():
        key = cv2.waitKey(10) # 키보드를 누를 때 까지 기다리는 딜레이, 딜레이가 없으면 아래의 영상 출력 코드가 진행되지 않음.
        
        if key == ord('q'):
            break
        elif key == 82:
            print("up")
            drive(50, 0, 0)
        elif key == 84:
            print("down")
            drive(50, 1, 1)
        elif key == 81:
            print("left")
            drive(50, 1, 0)
        elif key == 83:
            print("right")
            drive(50, 0, 1)
        elif key == 32: # 스페이스바 누를 시에 정지
            print('stop')
            drive(0, 0, 0)
            
            
            
        _, img = camera.read()
        img = cv2.flip(img, -1)
        cv2.imshow('img', img)
        
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    cv2.waitKey(0)
    
        
if __name__ == '__main__':
    main()
    gpio.cleanup()
    L_M.stop()
    R_M.stop()

5-2. 모델 학습을 위한 이미지 보정

• 우리는 딥러닝 자율 주행 자동차를 제작하기 위해 Nvidia에서 배포하는 학습 모델을 사용할 것이다.
• 이 모델을 사용하기 위해서, 우리가 수집할 데이터도 해당 모델에서 허용하는 영상 데이터 셋 규격에 맞출 필요가 있다.

1. 필요한 영상 범위만 촬영하기 (dataV1.py)

• 실습 시간을 단축하기 위해 모터 기능을 제거했다.

import cv2
import RPi.GPIO as gpio
import time

def main():
    camera = cv2.VideoCapture(0)
    camera.set(3, 640)
    camera.set(4, 480)
    
    if camera.isOpened() == False:
        raise Exception("error")
        
    while camera.isOpened():
        key = cv2.waitKey(10)
        
        if key == ord('q'):
            break
        elif key == 82:
            print("up")
        elif key == 84:
            print("down")
        elif key == 81:
            print("left")
        elif key == 83:
            print("right")
            
            
        _, img = camera.read()
        img = cv2.flip(img, -1)
        cv2.imshow('img', img)
        
        height, width, color = img.shape # 이미지의 세로(row) 사이즈와 가로(column) 사이즈 반환
        save_img = img[int(height/2):,:,:] # row 값의 반절부터 끝까지 데이터 저장
        cv2.imshow('save', save_img)
        
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    cv2.waitKey(0)
        
if __name__ == '__main__':
    main()

영상 첨부를 위해 임의로 사이즈를 줄인 모습 (160, 120)

2. 딥러닝 학습 데이터에 유리한 RGB -> YUV 컬러 채널 변환 (dataV2.py)

• 일반적인 영상의 컬러 채널은 RGB(red, green, blur) or BGR(blur, green, red) 이다.
• RGB는 색 표현이 굉장히 세밀하고 고품질이지만 필연적으로 데이터의 용량이 부담스러워진다.
• 때문에 다량의 빅데이터가 필요한 인공지능에는 품질을 약간 손해보더라도, 고압축 효율을 자랑하는 YUV 컬러 채널을 사용하게 된다.

import cv2
import RPi.GPIO as gpio
import time

def main():
    camera = cv2.VideoCapture(0)
    camera.set(3, 640)
    camera.set(4, 480)
    
    if camera.isOpened() == False:
        raise Exception("error")
        
    while camera.isOpened():
        key = cv2.waitKey(10)
        
        if key == ord('q'):
            break
        elif key == 82:
            print("up")
        elif key == 84:
            print("down")
        elif key == 81:
            print("left")
        elif key == 83:
            print("right")
            
            
        _, img = camera.read()
        img = cv2.flip(img, -1)
#         cv2.imshow('img', img)
        
        height, width, color = img.shape # 이미지의 세로(row) 사이즈와 가로(column) 사이즈 반환
        save_img = img[int(height/2):,:,:] # row 값의 반절부터 끝까지 데이터 저장
        save_img = cv2.cvtColor(save_img, cv2.COLOR_BGR2YUV)
        cv2.imshow('save', save_img)
        
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    cv2.waitKey(0)

if __name__ == '__main__':
    main()

다양한 색이 누락되었지만 필요한 정보(차선) 데이터는 잘 찍혀있다.

3. 블러링 처리와 입력 shape 변경 (dataV3.py)

• Nvidia의 딥 러닝 학습 모델에서는 입력사진 사이즈를 200x66으로 허용하고 있다.

import cv2
import RPi.GPIO as gpio
import time

def main():
    camera = cv2.VideoCapture(0)
    camera.set(3, 640)
    camera.set(4, 480)
    
    if camera.isOpened() == False:
        raise Exception("error")
        
    while camera.isOpened():
        key = cv2.waitKey(10)
        
        if key == ord('q'):
            break
        elif key == 82:
            print("up")
        elif key == 84:
            print("down")
        elif key == 81:
            print("left")
        elif key == 83:
            print("right")
            
            
        _, img = camera.read()
        img = cv2.flip(img, -1)
#         cv2.imshow('img', img)
        
        height, width, color= img.shape # 이미지의 세로(row) 사이즈와 가로(column) 사이즈 반환
        save_img = img[int(height/2):] # row 값의 반절부터 끝까지 데이터 저장
        save_img = cv2.cvtColor(save_img, cv2.COLOR_BGR2YUV)
        
        save_img = cv2.GaussianBlur(save_img, (3,3), 0) # 블러링
        save_img = cv2.resize(save_img, (200, 66)) # size 변환
        
        cv2.imshow('save', save_img)
        
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    cv2.waitKey(0)

        
if __name__ == '__main__':
    main()

5-3. 데이터 저장하기

1. 캡쳐 이미지 저장하기 (dataSave1.py)

• 일단은 답답한 YUV 영상 보다 BGR 채널의 영상을 저장해보자

putty or VNC terminal

• cd /home/pi/ai(지금까지 코딩했던 폴더 이름)
• mkdir video
• cd video
• pwd
• 출력되는 경로를 복사해둔다.

혹시 폴더를 잘못 만들었다면

• rm -r 잘못 만든 폴더 이름

import cv2
import RPi.GPIO as gpio
import time

def main():
    camera = cv2.VideoCapture(0)
    camera.set(3, 640)
    camera.set(4, 480)
    
    if camera.isOpened() == False:
        raise Exception("error")
        
    while camera.isOpened():
        key = cv2.waitKey(10)
        
        if key == ord('q'):
            break
        elif key == 82:
            print("up")
        elif key == 84:
            print("down")
        elif key == 81:
            print("left")
        elif key == 83:
            print("right")
            
            
        _, img = camera.read()
        img = cv2.flip(img, -1)
#         cv2.imshow('img', img)
        
        height, width, color= img.shape
        save_img = img[int(height/2):]
        cv2.imshow('save', save_img)
        
        cv2.imwrite("/home/pi/ai/video/test.png", save_img) 
        time.sleep(1.0) # 촬영 딜레이 만들어서 너무 많은 저장 방지하기
        
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    cv2.waitKey(0)

        
if __name__ == '__main__':
    main()

cv2.imwrite(src, img)

• src : (영상이 저장될 경로 + 파일 이름 + .확장자명) 의 규격을 맞춰서 문자열로 입력한다.
  • ex) "/home/pi/ai/video/sample.png"
• img : 영상 행렬 데이터를 파라미터로 입력한다.

지금까지의 VNC 캡쳐 이미지가 아닌 실제 카메라로 캡쳐한 이미지이다

2. 데이터 차곡차곡 쌓아가기 (dataSave2.py)

• 위의 코드는 1초마다 1개의 영상을 저장한다
• 하지만 데이터가 같은 이름으로 저장되어 계속해서 덮어쓰기 되고 있다.
• 딥러닝 학습을 위한 다량의 데이터 확보를 위해 데이터를 차곡차곡 쌓을 필요가 있다.

import cv2
import RPi.GPIO as gpio
import time

def main():
    camera = cv2.VideoCapture(0)
    camera.set(3, 640)
    camera.set(4, 480)
    filepath = '/home/pi/ai/video/test'
    i = 0
    
    if camera.isOpened() == False:
        raise Exception("error")
        
    while camera.isOpened():
        key = cv2.waitKey(10)
        
        if key == ord('q'):
            break
        elif key == 82:
            print("up")
        elif key == 84:
            print("down")
        elif key == 81:
            print("left")
        elif key == 83:
            print("right")
            
            
        _, img = camera.read()
        img = cv2.flip(img, -1)
#         cv2.imshow('img', img)
        
        height, width, color= img.shape
        save_img = img[int(height/2):]
        cv2.imshow('save', save_img)
        
        cv2.imwrite("%s_%05d.png" %(filepath, i), save_img) 
        i += 1
        
        time.sleep(1.0) # 촬영 딜레이 만들어서 너무 많은 저장 방지하기
        
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    cv2.waitKey(0)

        
if __name__ == '__main__':
    main()

• 문자열 포맷팅법을 사용하여 영상 파일을 저장한다.

VNC의 폴더 -> /home/pi/ai/video/ 폴더에서 영상 파일들을 확인 할 수 있다.

필요없는 데이터 삭제하기

1. VNC 사용
   • VNC GUI에서 /home/pi/ai/video 폴더로 찾아가서 window os와 같이 삭제한다.
2. 터미널 리눅스 명령어 사용
   • cd /home/pi/ai/video
   • rm *
     • 폴더 내의 모든 파일이 삭제 된다.
   • rm test*
     • 폴더 내의 test~ 파일이 모두 삭제 된다. (이쪽을 권장)

3. 필요에 따른 파일 라벨링 후 저장하기 (dataSave3.py)

• 딥 러닝 모델은 좌회전, 우회전, 직진의 차선을 각각 학습한다.
• 때문에 영상 데이터 또한 좌회전, 우회전, 직진의 데이터를 나누어 저장할 필요가 있다.

import cv2
import RPi.GPIO as gpio
import time

def main():
    camera = cv2.VideoCapture(0)
    camera.set(3, 640)
    camera.set(4, 480)
    filepath = '/home/pi/ai/video/test'
    i = 0
    carState = 'stop' # 정지 상태
    
    if camera.isOpened() == False:
        raise Exception("error")
        
    while camera.isOpened():
        key = cv2.waitKey(10)
        
        if key == ord('q'):
            break
        elif key == 82:
            carState = 'go'
        elif key == 84:
            carState = 'back'
        elif key == 81:
            carState = 'left'
        elif key == 83:
            carState = 'right'
        elif key == 32: # 스페이스바 누를 시에 정지
            carState = 'stop'

        print(carState)
        
            
        _, img = camera.read()
        img = cv2.flip(img, -1)
#         cv2.imshow('img', img)
        
        height, width, color= img.shape
        save_img = img[int(height/2):]
        save_img = cv2.cvtColor(save_img, cv2.COLOR_BGR2YUV)
        save_img = cv2.GaussianBlur(save_img, (3,3), 0)
        save_img = cv2.resize(save_img, (200, 66))
        cv2.imshow('save', save_img)
        
        
        if carState == "go":
            cv2.imwrite("%s_%05d_%03d.png" %(filepath, i, 90), save_img) # 직진 90도
            print("G")
            i += 1
        elif carState == "back":
            cv2.imwrite("%s_%05d_%03d.png" %(filepath, i, 270), save_img) # 후진 270도
            print("B")
            i += 1
        elif carState == "left":
            cv2.imwrite("%s_%05d_%03d.png" %(filepath, i, 45), save_img) # 좌회전 45도
            print("L")
            i += 1
        elif carState == "right":
            cv2.imwrite("%s_%05d_%03d.png" %(filepath, i, 135), save_img) # 우회전 135도
            print("R")
            i += 1
        elif carState == "stop":
            # 정지 상태에서는 저장하지 않을 예정
            print("S")
            
#         time.sleep(1.0) # 많은 데이터가 필요하기 때문에 영상 저장 딜레이를 없앴다. 딜레이가 없으니 정말 빠르게 저장된다.
        
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    cv2.waitKey(0)

        
if __name__ == '__main__':
    main()

4. 위에 만들어둔 조종기능과 합쳐 영상 획득 프로그램을 완성하자 (carSave4.py)
조종기능으로 이동하기

carSave4.py 코드로 이동하기
위 코드를 복사해서 조종기능 코드 위의 빈 셀에 붙여넣기 하면 이 코드로 바로 이동할 수 있는 링크를 생성할 수 있다.

import cv2
import RPi.GPIO as gpio
import time

PWMA = 18
AIN1 = 22
AIN2 = 27

PWMB = 23
BIN1 = 25
BIN2 = 24

M = [18, 22, 27, 23, 25, 24]


gpio.setmode(gpio.BCM)

for i in M:
    gpio.setup(M, gpio.OUT)
    
L_M = gpio.PWM(PWMA, 100)
L_M.start(0)
R_M = gpio.PWM(PWMB, 100)
R_M.start(0)

def drive(speed, left, right):
    gpio.output(AIN1, left)
    if left <= 0:
        left2 = 1
    else:
        left2 = 0
    gpio.output(AIN2, left2)
    L_M.ChangeDutyCycle(speed)
    
    gpio.output(BIN1, right)
    if right <= 0:
        right2 = 1
    else:
        right2 = 0
    gpio.output(BIN2, right2)
    R_M.ChangeDutyCycle(speed)

def main():
    camera = cv2.VideoCapture(0)
    camera.set(3, 640)
    camera.set(4, 480)
    filepath = '/home/pi/ai/video/test'
    i = 0
    carState = 'stop' # 정지 상태
    
    if camera.isOpened() == False:
        raise Exception("error")
        
    while camera.isOpened():
        key = cv2.waitKey(10)
        
        if key == ord('q'):
            break
        elif key == 82:
            carState = 'go'
            drive(50, 0, 0)
        elif key == 84:
            carState = 'back'
            drive(50, 1, 1)
        elif key == 81:
            carState = 'left'
            drive(50, 1, 0)
        elif key == 83:
            carState = 'right'
            drive(50, 0, 1)
        elif key == 32: # 스페이스바 누를 시에 정지
            carState = 'stop'
            drive(0, 0, 0)

        print(carState)
        
            
        _, img = camera.read()
        img = cv2.flip(img, -1)
#         cv2.imshow('img', img)
        
        height, width, color= img.shape
        save_img = img[int(height/2):]
        save_img = cv2.cvtColor(save_img, cv2.COLOR_BGR2YUV)
        save_img = cv2.GaussianBlur(save_img, (3,3), 0)
        save_img = cv2.resize(save_img, (200, 66))
        cv2.imshow('save', save_img)
        
        
        if carState == "go":
            cv2.imwrite("%s_%05d_%03d.png" %(filepath, i, 90), save_img) # 직진 90도
            print("G")
            i += 1
        elif carState == "back":
            cv2.imwrite("%s_%05d_%03d.png" %(filepath, i, 270), save_img) # 후진 270도
            print("B")
            i += 1
        elif carState == "left":
            cv2.imwrite("%s_%05d_%03d.png" %(filepath, i, 45), save_img) # 좌회전 45도
            print("L")
            i += 1
        elif carState == "right":
            cv2.imwrite("%s_%05d_%03d.png" %(filepath, i, 135), save_img) # 우회전 135도
            print("R")
            i += 1
        elif carState == "stop":
            # 정지 상태에서는 저장하지 않을 예정
            print("S")

        
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    cv2.waitKey(0)

        
if __name__ == '__main__':
    main()
    gpio.cleanup()

데이터가 최대한 깔끔하게 나오도록 영상 데이터를 수정하면서 2000~3000의 데이터를 모아야 한다.

5-4. 학습 데이터 raspberry -> PC로 이동

• VNC 뷰어의 FTP 기능을 통해 라즈베리파이의 파일을 PC로 가져와보자

1. 파일 압축하기

• 데이터를 압축하지 않으면 개별파일로 전송하게 되는데, 전송 속도의 효율을 높이기 위해 압축 하는 편이 이득이다.

putty 터미널

• cd /home/pi/ai(코딩하고 있던 폴더 명)
• zip -r video.zip video
  • video 폴더 안의 모든 파일을 video.zip 이라는 파일로 압축한다.

제대로 압축되어 있는 것을 볼 수 있다

2. VNC 뷰어의 FTP 기능 사용하여 전송하기

3. 반대로 PC에서 라즈베리파이로 데이터 받아오기