OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k 와 같은 에러가 발생했을 때

lambda를 실행하면서 아래와 같은 로그와 함께 에러가 발생하는 경우가 있다. OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k  이럴 경우, 아래처럼 Lambda 구성 - 메모리 용량을 늘려주면 대부분 해결된다.

• format_list_bulleted CLOUD
• · 2022. 8. 23.
• textsms

AWS Athena 쿼리 실행 시 일부 쿼리에서 Limit 무시하는 현상에 대해

AWS Athena에서 쿼리를 실행할 때 쿼리에 Limit을 추가할 때 limit을 무시하고 쿼리가 출력되거나 의도하지 않은 값이 리턴되는 경우가 있어서 찾아본 결과. 아래와 같은 답변이 보여서 공유합니다. 예컨대 Athena는 쿼리 실행 시, 쿼리 동작을 계획할 동안 파티션된 파일을 목록화(list) 하는데 이 시점에서 파일의 Row 개수를 정확히 알지 못하기 때문에 쿼리를 실행해서 관련 된 모든 데이터를 읽은 다음 10개 째의 Row가 출력되는 시점에 작업을 중단하는 방식을 취하고 있는 듯 합니다. 따라서 Limit 형태보다는 where 조건으로 Athena가 쿼리해야 될 대상을 명확하게 하는 게 좀 더 효율적입니다. Athena plans a query and then executes it. Dur..

• format_list_bulleted CLOUD
• · 2022. 8. 21.
• textsms

AWS lambda에서 계층 추가 시 ‘Layers consume more than the available size of 262144000 bytes’ 오류가 뜰 경우 대처 방안

AWS Athena에서 python 함수를 실행할 때 pandas 같은 기본 미지원 패키지를 추가하기 위해 계층(layer)를 추가할 때가 있는데 아래와 같이 메시지가 뜰 때가 있습니다. 💡 Layers consume more than the available size of 262144000 bytes 원인은 말 그대로 계층 한계 용량 (약 262mb) 보다 많은 계층 용량을 적용하기 위해 발생합니다. 이럴 경우 아래 3가지 정도 대응 방안이 있습니다. 계층에 추가된 패키지 중 불필요하고, 용량 많이 잡아먹는 python 패키지를 처음부터 제외하기 Python 버전 여러 개에 대응하도록 설정되어있다면 Lambda에서 실제 사용하는 python 버전만 사용 기존에 이미 추가된 Layer 중 불필요한 lay..

• format_list_bulleted CLOUD
• · 2022. 8. 19.
• textsms

AI-900 자격증 시험 후기

MS Azure 관련 자격증 중 AI 관련 기본 자격증인 AI-900 시험에 합격했습니다. 사실 AI-900의 인지도는 글로벌 기준으로도 매우 낮은 편에 들어가는 듯 합니다. 그런데 왜 쳤냐하면... MS Korea에서 진행하는 AZ-900 웨비나 수강시 받는 시험 응시 쿠폰이 다른 900 시리즈에도 지원이 가능하기 때문이죠 ㅋㅋㅋ 그래서 DP-900이나 SC-900 같은 것도 지원 가능합니다만.. 어쨌든 전 진지하게 임하기보단 벼락치기 해보고 안되면 말고 정도로 시작했습니다. 그래서 누적 5시간 공부해서 간신히 합격. 시험 공부 방법 위에서 말했던 것처럼 그렇게 에너지를 들일 생각도 없었고 기존 ML 업무 경험이 있기 때문에 바로 Dump 파일 구해서 공부를 시작했습니다. (다만 ML 경험이 없으신 분..

• format_list_bulleted CLOUD
• · 2021. 7. 4.
• textsms

Google Analytics 데이터를 GCP Cloud Storage에 Json 형태로 추출하기

개요 Google Analytics의 데이터를 Big Query를 거쳐 Cloud Storage에 저장하는 방법에 대해 설명합니다. 해당 방법을 사용하기 위해선 GA및 GCP의 요소들이 필요합니다. 다만 크게 요금 부담되지는 않아요. (트래픽이 쩔어주지 않는 다음에야...) Google Anlaytics GCP Big query GCP Function GCP Scheduler GCP Cloud Storage 스크린샷을 위주로 설명을 진행하겠습니다. 데이터 연동하는 방법 선 GA 데이터를 Big Query로 연동합니다. 속성에서 '제품 연결하기 → BigQuery 연결'을 통해 내보내기 설정을 하면 됩니다. GCP BigQuery에서 데이터가 들어오는 지 확인합니다. GA 데이터의 경우, 1일 단위로 넘어..

• format_list_bulleted CLOUD
• · 2021. 6. 28.
• textsms

[AZ-900] 시험 후기 및 공부 방법

AZURE FUNDAMENTAL 시험 합격 거의 1달만에 마침내 AZ-900에 합격했습니다. AZ-900은 MS의 클라우드 서비스인 Azure 서비스 및 Cloud 기본 개념에 대해 이해도를 평가하는 시험입니다. 다른 후기 중에서 공감가던 말이 "AZ-900은 클라우드 계의 운전면허 시험 같은 존재다" 라는 말이었는데요. 그만큼 한편으로는 쉽지만, 대강해서는 떨어지는 그런 시험이라 생각이 들었습니다. 저도 다른 합격한 분들처럼 후기를 남겨놓고자 합니다. AZURE FUNDAMENTAL 시험 응시 방법 아래의 AZ-900 소개 홈페이지에 접속하면 간략한 소개 및 시험 예약 링크를 확인할 수 있습니다. 아래에서부터 응시 방법에 대해 소개해보겠습니다. 아래 링크를 클릭합니다. MS의 AZ-900 시험 응시 페..

• format_list_bulleted CLOUD
• · 2021. 5. 16.
• textsms

[AZ-900] 가격과 지원(500)

Key ResultsAzure의 비용 관련 내용 이해참고 문서강의 정보에듀캐스트 강의 1. Azure 구독구독 단위로 과금하나의 테넌트는 2개 이상의 구독을 가질 수 있음모든 리소스는 특정 구독에 생성테넌트 간 구독 이동이 변경구독 종류무료 학생종량제EA(기업 계약)CSP(애저 파트너)Azure Management Group여러개의 구독을 관리하는 기능하나의 관리 그룹에 여러개의 구독 포함 기능구독은 관리 그룹에 적용된 조건을 상속단일 디렉토리는 10000개의 관리 그룹 지원관리 그룹 계층 구조는 6단계 까지 지원2. Azure 비용 계획과 관리기본 비용 구독 방법엔터프라이즈 : 애저 서비스를 협상한 금액을 지불하여 서비스 구매(계약 단위 청수/일반적으로 매년)웹 다이렉트 : 고객이 직접 애저 웹 사이트..

• format_list_bulleted CLOUD
• · 2021. 5. 7.
• textsms

[AZ-900] 보안, 규정준수, 개인정보보호, 신뢰(400)

Key ResultsAzure의 보안, 규정준수, 개인정보보호, 신뢰 이해참고 문서강의 정보에듀캐스트 강의 1. Azure Network 보안보안계층공동 책임제 (물리적인건 MS에서 관리하나 그 외에는 종류에 따라 보안 책임이 분리)Azure DDOS Protection분산 서비스 거부(DDOS) 공격 시 네트워크 가용성에 영향을 받기 전에 비정상 네트워크 트래픽을 DROP 시킴BASIC 계층은 AZURE에서 기본적으로 사용 가능좀 더 타이트하게 관리할 수 있게 하려면 Standard 계층을 사용하여 Azure 가상 네트워크 리소스를 보호하도록 MS에서 관리기능을 유료로 추가Azure Firewall논리적 방화벽 장비Inbound / Outbound NAT 필터링 규칙 적용고가용성 내장무제한 확장성Azu..

• format_list_bulleted CLOUD
• · 2021. 5. 5.
• textsms