csv.reader是否常用 - Cupoy

2019/12/01 上午 02:00

Python網路爬蟲討論版

Haung Bacon

觀看數：4

回答數：2

收藏數：1

pycrawler

pycrawler-d02

你好，想請問一下 csv.reader 這個指令常用嗎？

若是要講求速度的話，使用 File I/O 的讀取速度會是 csv.reader 的兩倍

若是要講求key值得選取的話，也應該是使用 pandas 或是 csv.DictReader 

我自己測試讀取效能的結果，以100次 iteration來看：

20191201 01:30:47 INFO: File I/O method running 100 times: 0.0157s

20191201 01:30:47 INFO: CsvReader method running 100 times: 0.0307s

20191201 01:30:47 INFO: CsvDictReader method running 100 times: 0.0609s

20191201 01:30:47 INFO: Pandas method running 100 times: 0.2819s

那我的疑問就是，csv.reader真的常使用嗎？

回答列表

• 2019/12/01 上午 09:04
  Jeffrey
  贊同數：1
  不贊同數：0
  留言數：0

  實務上的運用來講, 取決於

  1. dataset 的來源跟格式

  2. 想要解決的答案與預想使用的模型

  3. 個人習慣

  
  

  大部分的演算時間都是花在節省運算量

• 2019/12/01 下午 09:24
  張維元 (WeiYuan)
  贊同數：1
  不贊同數：0
  留言數：0

  要看使用的需求哦，CsvReader 跟 CsvDictReader 都是常見的用法。直接用 File I/O 的話需要額外的處理過程可能不是那麼方便，Pandas 存在的問題是過程中可能有些資料是不用的。

  
  

  常見的使用會事先將外部資料用 CsvReader 跟 CsvDictReader 讀入，再利用程式整理後，再一併轉成 DataFrame。