본문 바로가기

인터넷/모바일/머신러닝26

python : UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 1: ordinal not in range(128) 해결책. pickle에서 데이터를 읽어올 때에 UnicodeDecodeError 관련 에러가 떨어지는 경우...12345 File "H:\fixers - 3.4\addressfixer - 3.4\trunk\lib\address\address_generic.py", line 382, in read_ref_files d = pickle.load(open(mshelffile, 'rb'))UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 1: ordinalnot in range(128)Colored by Color Scriptercs python3에서는 아래와 같은 방법으로 해결 가능. 1234567with open(datafile, 'rb') a.. 2017. 10. 25.
python3 한글 처리. python은 멀티바이트 문자처리가 짜증나게 되어있는듯..가장 많이 쓰이는 python2, python3의 한글 처리 방법이 다름. 먼저 알아두어야할 것.python2, python3의 문자열 처리 방법이 다름.python2은 ascii가 기본python3은 unicode가 기본LINUX와 윈도우의 한글 처리 방법이 다름.윈도우는 CP949가 기본LINUX는 euc-kr이 기본. (.profile에 명기하기 나름이지만, 보통 euc-kr)웹 세상에서는 utf-8이 기본. python3 한글 처리. 123456import sysreload(sys)sys.setdefaultencoding('euc-kr') # 또는 sys.setdefaultencoding('utf-8')a = "한글"print( a )pri.. 2017. 9. 12.
윈도우10에서 텐서플로우 설치하기. 윈도우10 64비트 버전에서만 실행되므로, 32비트를 가지고 있다면, OS 옆그레이드 먼저... 필요한 프로그램 : python, anaconda, cuda, cuDNN 모든 프로그램들의 버전이 중요하므로, 아래 가이드에 나오는 해당 버전을 받아서 설치해야함. 각각 프로그램의 다운로드 및 설치방법. 1) Python 3.6.1 설치 https://www.python.org/downloads/release/python-361/ 2) Anaconda3-4.4.0 설치 Anaconda3-4.4.0-Windows-x86_64.exe 덩치가 큰 프로그램이기 때문에 약간의 인내심을 요함. https://docs.continuum.io/anaconda/install/hashes/Anaconda3-4.4.0-Windo.. 2017. 8. 8.
tensorflow - textsum 테스트 실행 중 tensorflow - textsum 테스트 실행 중 github 예제에서 제공하는 토이 데이터는 너무 작아서 쓸만한 결과를 얻을 수 없기 떄문에, 데이터셋을 새로 만들어서 프로그램을 돌리고 있음. 데이터 종류 : 한글로 된 뉴스 (웹 크롤러를 이용하여 국내 뉴스 싸이트에서 긁어온 뉴스)데이터 갯수 : 10만개사이즈 : 500MB (웹 크롤러로 뉴스를 받아서, 앞뒤로 붙은 쓸데없는 광고 모두 없애고, html tag 없애고, binary로 바꾸면 500MB 정도로 작아짐) max_run_steps 10만번 설정해놓고, 6시간째 돌리고 있는데, running_avg_loss가 기대치에 이르지 못 함. 10만번 수행 예상 시간은 11시간.사용 중인 H/W는 i5 6600 + RAM 24G + GTX1070 .. 2017. 3. 26.

티스토리툴바