목록전체 글 (35)

STACKBASE

사이드 프로젝트[001]. Pyspark DataFrame을 Python List로 변환

보호되어 있는 글입니다.
카테고리 없음 2021. 10. 19. 12:03
사이드 프로젝트[001]. Pyspark를 이용한 Write/Read

1. 구성환경 : 이전 글과 동일 + jupyter notebook 사용 2. 코드 Spark와 세션 연결 import warnings warnings.filterwarnings(action='ignore') from pyspark.sql import SparkSession input_uri = "mongodb://hyeongju:dbgudwn1!@127.0.0.1:27017/mydatabase.testcol?authSource=admin" output_uri = "mongodb://hyeongju:dbgudwn1!@127.0.0.1:27017/mydatabase.testcol?authSource=admin" myspark = SparkSession\ .builder\ .appName("twitter")..
카테고리 없음 2021. 10. 19. 11:56
SQL, Mongodb Mapping

https://docs.mongodb.com/v4.0/reference/sql-comparison/
카테고리 없음 2021. 10. 11. 23:22
mongodb 사용법

1. 'root' 권한 유저 생성 # admin 데이터베이스 선택 use admin db.createUser({user:'root', pwd:'password', roles:['root'] 2. mongodb 로그인 mongo -u 'username' -p 'password123' --authenticationDatase 'admin' 3. DB/Collection 생성 use createdatabse # 데이터베이스 확인 show dbs # collection 생성 db.createCollection("collectionName") # collection 확인 show collection db.collection_name.stats() # collection capped 설정하여 collection 생..
카테고리 없음 2021. 10. 11. 21:17
이전 Prev 1 ··· 4 5 6 7 8 9 Next 다음