[ISSUE] ManytoMany 관계를 가진 두 모델 Bulk Create 작업

[22.11.26]

🍃 ManytoMany 관계를 가진 두 모델 Bulk Create 작업

✔️ 현재 위와 같이 등록된 항목에 대해 태그를 추가하는 기능을 개발 구현 중이다.

• 등록된 항목은 Scrap Parsing을 통해 특정 사이트에 관련한 url, 썸네일, 제목 등을 저장하여 접근할 수 있게 구현한 현황 화면이다.
• 특정 사이트를 선택하여 bulk(다중)로 태그를 등록할 수 있게 스크립트 구현
• 선택한 각 Site와 Tag Model이 ManytoMany 관계로 데이터 모델링

 

1. 모델 코드

📌 Tag Model

class Site(models.Model):
    """ 항목에 관한 데이터 모델 """

    title = models.CharField(verbose_name='타이틀', max_length=100)
    user = models.ForeignKey(User, on_delete=models.CASCADE, verbose_name='유저')
    url = models.CharField(verbose_name='url', max_length=2000, null=True)
    thumbnail_url = models.CharField(verbose_name='썸네일주소', max_length=2000)
    host_name = models.CharField(verbose_name='호스트명', max_length=500)
    content = models.TextField(verbose_name='컨텐츠')

    # category choices
    CATEGORY_CHOICES = [(1, 'python'), (2, 'django'), (3, 'javascript'), (4, 'orm'), (5, 'mysql'), (6, 'drf'), (7, 'docker'), (8, 'os'), (9, 'aws'), (10, 'html'), (11, 'css'), (12, 'git'), (13, 'linux')]

    category = models.IntegerField(verbose_name='카테고리', choices=CATEGORY_CHOICES)
    favorite = models.BooleanField(verbose_name='즐겨찾기', default=False)
    video = models.BooleanField(verbose_name='비디오', default=False)
    created_at = models.DateTimeField(verbose_name='생성일', auto_now_add=True)
    updated_at = models.DateTimeField(verbose_name='갱신일', auto_now=True)

    def __str__(self):
        return f"{self.title} ({self.get_category_display()})"

    class Meta:
        verbose_name = '항목'
        verbose_name_plural = '항목 목록'

📌 Tag Model

class Tag(models.Model):
    """ 웹 항목 태그 목록 모델  """
    name = models.CharField(verbose_name='이름', max_length=20)
    site = models.ManyToManyField(Site, verbose_name='리스트')

    def __str__(self):
        return f"{self.name}"

    class Meta:
        verbose_name = '태그'
        verbose_name_plural = '태그 목록'

 

2. js에서 선택한 항목의 id값과 입력된 Tag값 전달

function setFechData(method, body){
    /* Fetch data 셋팅 */

    let csrftoken   = getCookie('csrftoken');

    const data = {
        method: method,
        headers: {
            'content-type': 'application/json',
            'X-CSRFToken' : csrftoken,        
        },
        body: JSON.stringify(body)
    }

    return data
}

function bulkTag() {
    /* 벌크 태그 이벤트 */

    const data = setFechData("POST",{
        pk_ids: selected_articles,
        tags: added_tags,
        user: "User Id" 
    })

    fetch(`/api/sites/tags`, data)
        .then(response => {
            let status = response.status
        })
        .then(() => getSiteList())
        .then(() => changeSelected())
        .catch(error   => console.log(error)
}

✔️ ‘저장’ 버튼 Click

1. bulkTag() 실행 및 fetch에 담아 전송할 data 할당

2. data는 setFechData() 함수를 이용

• 다른 api요청 시에도 재사용할 수 있도록 공통함수 작성
• method는 새로 저장되는 api이기 때문에 POST로 요청

3. pk_ids에는 선택한 항목의 pk(id) 값을 배열 형식으로 할당 ex) [1, 2]

4. tags에는 선택한 항목에 등록할 태그 명을 배열 형식으로 할당 ex) [’python’, ‘django’]

5. fetch함수를 이용하여 /api/sites/tags api에 data 담아 전송

 

3. api url 설정

from pocket.views import (
    # api_view
    SiteBulkAPIView
    **SiteTagsAPIView,** 
)

api_patterns = [
    path('sites/bulk', SiteBulkAPIView.as_view()), 
    **path('sites/tags', SiteTagsAPIView.as_view()),** 
]

urlpatterns = [
    # api
    **path('api/', include(api_patterns)),**
]

• 화면 이동이 아닌 api 관련은 include 하여 api_patterns로 연결되게 설정
• js에서 전송한 request를 SiteTagsAPIView 뷰단으로 이동할 수 있게 맴핑

 

4. view 코드 작성

class SiteTagsAPIView(APIView):
    """
    벌크 항목 태그 api
    """

        # 2_b
    def get_list(self):

        pk_ids: list = self.request.data.get('pk_ids')

        return get_list_or_404(Site, id__in=pk_ids)

        # 2_a
    def validate_ids(self):

        pk_ids: list = self.request.data.get('pk_ids')

        for id in pk_ids:
            get_object_or_404(Site,id=id)

        return self.get_list()

        # 1
    def post(self, request):
        """
        Site 태그 추가
        """ 
                # 2,3
        sites = validate_ids()
        tags  = self.request.data.get('tags')

        with transaction.atomic():
                '''트랜젝션 시작'''

                        # 4_a
            bulk_tags   = [Tag(name=tag) for tag in tags]
                        # 4_b
            created_tags = Tag.objects.bulk_create(bulk_tags)

                        # 5
            [tag.site.add(site.id) for tag in created_tags for site in sites]

        return Response({'msg':'Add Tag successfully'}, status=status.HTTP_200_OK)

1. js에서 요청한 method와 동일하게 함수명을 post로 지정

2. 전달받은 pk(id)가 담긴 배열을 이용하여 Site list를 조회

• validate_ids() 호출 후 존재하는 id값들인 경우 get_list() 호출
• get_list()를 호출하여 get_list_or_404(Site, id__in=pk_ids) 와 같이 pk_ids값을 포함한 Site들 조회 (단, 항목이 존재하지 않을 경우 404 에러 반환)

3. 전달받은 태그가 담긴 배열 변수 할당

4. 태그 생성을 위한 Tag 객체 생성

• list comprehesion을 이용하여 Tag가 담긴 배열 생성
• bulk_create() 함수를 이용하여 이전 단계에서 담아둔 Tag객체를 매개변수로하여 create_tags 할당

5. 생성된 Tags 리스트와 Sites 리스트 ManytoMany 매칭

• list comprehesion을 이용하여 Tag 모델의 site 칼럼에 전달받는 site들을 넣어주는 작업 진행

bulk_create()를 사용한 이유

✔️ 벌크 작업 시 일반 create로 작업을 하게 되면 하나하나 create를 할 때마다 DB에 connection을 요청하기 때문에 오래 걸리기도 하고 과부하가 걸린다는 단점이 있다.

✔️ 그래서 Django에서 제공하는 bulk_create()를 사용한 것이다. 이 함수는 DB에 connection을 한 번만 요청하여 생성을 한 번에 처리해 주는 함수이기 때문에 효율적인 면에서 좋다.

5. Issue1

Internal Server Error: /api/sites/tags
Traceback (most recent call last):
  File "/Users/cjy/Lecture/Devket/env-devket/lib/python3.10/site-packages/django/core/handlers/exception.py", line 47, in inner
    response = get_response(request)
  File "/Users/cjy/Lecture/Devket/env-devket/lib/python3.10/site-packages/django/core/handlers/base.py", line 181, in _get_response
    response = wrapped_callback(request, *callback_args, **callback_kwargs)
  File "/Users/cjy/Lecture/Devket/env-devket/lib/python3.10/site-packages/django/views/decorators/csrf.py", line 54, in wrapped_view
    return view_func(*args, **kwargs)
  File "/Users/cjy/Lecture/Devket/env-devket/lib/python3.10/site-packages/django/views/generic/base.py", line 70, in view
    return self.dispatch(request, *args, **kwargs)
  File "/Users/cjy/Lecture/Devket/env-devket/lib/python3.10/site-packages/rest_framework/views.py", line 509, in dispatch
    response = self.handle_exception(exc)
  File "/Users/cjy/Lecture/Devket/env-devket/lib/python3.10/site-packages/rest_framework/views.py", line 469, in handle_exception
    self.raise_uncaught_exception(exc)
  File "/Users/cjy/Lecture/Devket/env-devket/lib/python3.10/site-packages/rest_framework/views.py", line 480, in raise_uncaught_exception
    raise exc
  File "/Users/cjy/Lecture/Devket/env-devket/lib/python3.10/site-packages/rest_framework/views.py", line 506, in dispatch
    response = handler(request, *args, **kwargs)
  File "/Users/cjy/Lecture/Devket/pocket/decorator.py", line 18, in exec_func
    return func(self, request, sites=sites)
  File "/Users/cjy/Lecture/Devket/pocket/views.py", line 189, in post
    [tag.site.add(site.id) for tag in created_tags for site in sites]
  File "/Users/cjy/Lecture/Devket/pocket/views.py", line 189, in <listcomp>
    [tag.site.add(site.id) for tag in created_tags for site in sites]
  File "/Users/cjy/Lecture/Devket/env-devket/lib/python3.10/site-packages/django/db/models/fields/related_descriptors.py", line 536, in __get__
    return self.related_manager_cls(instance)
  File "/Users/cjy/Lecture/Devket/env-devket/lib/python3.10/site-packages/django/db/models/fields/related_descriptors.py", line 851, in __init__
    raise ValueError('"%r" needs to have a value for field "%s" before '
**ValueError: "<Tag: 자바>" needs to have a value for field "id" before this many-to-many relationship can be used.**

✔️ 위와 동일하게 코드를 작성하여 이벤트를 실행시키면 제일 에러가 발생한다.

• Error 내용
• Tag라는 객체는 many-to-many 작업을 하기 위해 id 필드가 필요하다.라는 내용이 담겨 있다.

bulk_create() 사용으로 에러가 발생한 이유

✔️ 여기서 에러를 생각보다 오래 잡지 못했던 이유가 작업을 하면서 당연히 bulk_create() 함수를 사용하면

✔️ 리턴되는 객체가 Tag를 생성하였으니 그 생성한 id와 pk값을 가지고 있다고 판단하고 위와 같이 코드를 작성하니 id값이 존재하지 않다고 에러가 발생한 것이다.

✔️ 결론적으로 bulk_create() 함수는 여러 생성 작업만 가지고는 효율적이지만 재사용성 면에서는 좋지 않다는 것이다. 그 이유에 Tag를 Many-to-Many로 추가해야 하는 상황에서 후처리 작업을 하지 못한다.

6. 해결 방법

class SiteTagsAPIView(APIView):
    """
    벌크 항목 태그 api
    """

    def get_list(self):

        pk_ids: list = self.request.data.get('pk_ids')

        return get_list_or_404(Site, id__in=pk_ids)


    def validate_ids(self):

        pk_ids: list = self.request.data.get('pk_ids')

        for id in pk_ids:
            get_object_or_404(Site,id=id)

        return self.get_list()

    def post(self, request, **kwards):
        """
        Site 태그 추가
        """ 
        sites          = validate_ids()
        tags           = self.request.data.get('tags')

        with transaction.atomic():
            '''트랜젝션 시작'''

            created_tags   = [Tag.objects.get_or_create(name=tag)[0] for tag in tags]

            [tag.site.add(site.id) for tag in created_tags for site in sites]

        return Response({'msg':'Updated successfully'}, status=status.HTTP_200_OK)

• Tag 객체가 담긴 리스트를 bulk_create()로 생성해 주는 로직에서 list comprehesion을 이용하여 Tag를 생성하며 반환되는 Tag객체를 배열에 할당해 준다.
• 할당해 준 Tags 리스트와 Sites를 반복문을 통해서 tag.site.add(site.id)하여 Many-to-Many관계를 매칭해 준다.