본문 바로가기

CS/Python&R29

대용량 데이터 처리 https://towardsdatascience.com/upgrade-your-memory-on-google-colab-for-free-1b8b18e8791d Upgrade your memory on Google Colab FOR FREE Increase the 12GB limit to 25GB towardsdatascience.com https://towardsdatascience.com/when-should-you-consider-using-datatable-instead-of-pandas-to-process-large-data-29a4245f67c6#:~:text=Both%20Pandas%20and%20Datatable%20have,same%20time%20to%20load%20it.&text=Fr.. 2022. 7. 23.
프로그래머를 위한 파이썬 p.6 설계(Design)라는 단어는 종종 가시적인 결과물이라고 하지만 설계의 진정한 가치는 어떤 결과에 도달하는 과정(process)에 있다. p.8 여러분이 회사의 보고용 소프트웨어를 업데이트하는 작업을 맡았다고 가정하자. 현재는 익스포트 파일로, 쉼표로 값을 구분하는 데이터(csv)를 사용한다. 하지만 사용자는 탭으로 값을 구분하는 데이터(TSV)가 좋다고 말한다. 그래서 여러분은 '쉼표 대신 탭으로 구분하도록 업데이트해야지.'라고 마음먹었다. 그런데 출력하는 코드를 열어보니 다음과 같다. print(col1_name + ',' + col2_name + ',' + col3_name + ',' + col4_name) print(first_val + ',' + second_val + ',' + thir.. 2022. 7. 4.
선 실습 후 공부 - 배워서 바로 써먹는 데이터 분석 프로그래밍에 관심이 많아지는 시기다. 동시에 두려움도 커지는 시기다. 요새는 그러지 않는데 과거에 데이터 분석 교육업체들은 데이터 분석가의 수요가 엄청나다며 광고를 엄청 돌렸고 사람들은 그 광고를 받아들였다. 하지만 현실에서 분석가를 얼마나 찾는지 실제로 찾아보라. 정말 수요가 별로 없다는 걸 알게 될 것이다. '직업'으로서 데이터 분석은 그렇다는 얘기다. 하지만 어떤 포지션의 업무를 진행하든 사무직의 경우 분석이 들어가지 않는 경우는 드물다. 자료를 조사해야하고, 그 속에서 자신이 원하는 데이터를 보고 결론을 도출해야 한다. 보통 이런 과정을 직접 손으로 구글링하고 엑셀에 복사 붙여넣기 하는 과정을 거치곤 하지만, 파이썬을 이용해서 간단하게 해볼 수 있다. 이 책에 나온 내용은 이미 입문자 단계에서 거.. 2022. 7. 2.
KOSSDA 데이터페어 : 선거자료의 이해와 활용, '파이썬을 이용한 간단한 여론조사 분석기' https://www.youtube.com/watch?v=rrhyDNjnb5Y&ab_channel=KOSSDA%ED%95%9C%EA%B5%AD%EC%82%AC%ED%9A%8C%EA%B3%BC%ED%95%99%EC%9E%90%EB%A3%8C%EC%9B%90 1. 수상한 여론조사의 특징 - 여론조사 기간이 짧다 - 응답율이 높다 - 국번당 조사된 번호 수가 많다. - 낮은 비적격 비율 => 선관위의 여심위에 등록하게 되어있음 2. 여심위 데이터 수집 2022. 6. 27.
5 Tips For Object-Oriented Programming Done Well - In Python https://www.youtube.com/watch?v=-ghD-XjjO2g&ab_channel=ArjanCodes 1. You can combine FP(functional Programming) and OOP 2022. 6. 4.
Test-Driven Development In Python // The power of red-green-refactor https://www.youtube.com/watch?v=B1j6k2j2eJg&list=PLC0nd42SBTaPYSgBqtlltw328zuafaCzA&index=2&ab_channel=ArjanCodes TDD is a term coined in 2002 by kent beck in his book Test-Driven Development By example. 2. Five Steps of TDD a. Step 1 : Write Tests i. Whey you add a new feature, you basically start by writing the tests that only pass if the feature specifications are met. This is actually a very.. 2022. 6. 1.