Python で大きなファイルを読み取る

Python で大きなファイルを読み取る

1. はじめに

数日前、ログ解析システムに取り組んでいて、数十 GB のファイルを処理する必要がありました。元のfor line in open(filepath).readlines()使用して処理しようとしましたが、長時間停止したまま変化がなく、メモリを大量に消費していることがわかりました。オンラインで検索したところ、大きなファイルを読み取る方法が 2 つ見つかりました。

2. 大きなファイルを読み取る

以下に示すように、読み取りwith非常に Python 的な方法です。

 with open(filepath) as f: for line in f: <行に対して何かを行う> 

元のタイトル: Python は大きなファイルを読み取る

キーワード: python

<<:  Django1.6 カスタム マークダウン フィルター

>>:  Python を使用した Google Analytics API の簡単な実装

推薦する

推奨: velocihost - 35% オフ/KVM/SSD/G ポート/Windows

velocihost は、ONLYFORLET と ONLYFORLETS という 2 つの 5 日...

タオバオ電子商取引の2か月間の経験と洞察、そして業界に関するいくつかの考察

私はTaobao電子商取引に正式に2か月間従事してきました。主に目標がより明確になったため、最初から...

Googleは、ドメイン名のマッチングに頼って上位に表示される低品質のウェブサイトを取り締まるため、アルゴリズムを調整した。

海外メディアの報道によると、質の低いウェブサイトがGoogle検索で上位に表示される方法の一つは、一...

SEOとは何か: SEOについての本当の理解を話してください

SEO の定義については異論はありません。SEO は Search Engine Optimizat...

Googleが新しいロゴを変更

9月2日、Googleは新しいロゴの発表を行いました。新しいロゴはサンセリフフォントを使用し、サブタ...

Tuanbao.comが倒産の噂:任春雷が第二のビジネスを始める可能性

Tuanbao.comのCEOであるRen Chunlei氏が資金調達に失敗し、破産宣告しようとして...

ftpit - 年間 30 ドル / メモリ 1g / SSD 15g / データ トラフィック 1t

ftpit が買収されて以来、大規模で強力な割引を発表するのはこれが初めてです。ニューヨークのデータ...

行き詰まったSEO実践者に捧げる

私はSEOERとして1年以上働いています。SEO実践者の未来はどこにあるのかとよく思います。SEO実...

マジックキューブクラウド:シンガポールVPS/25元/256Mメモリ/3ネットワーク直接接続

国内VPS事業者のMagic Cube Cloudは、Alipayなどの決済方法に対応しており、現在...

暑い夏:ライトレールの乗客の流れの人気はウェブサイトのユーザーエクスペリエンスを反映している

今年の夏は気温が非常に高く、北部の沿岸都市大連でも秋に入ってから気温が33度を記録した。気温がどれだ...

Taobaoアフィリエイト製品のユーザーマイニングを実行するにはどうすればいいですか?

スキルとヒントは、一般的に成功体験を共有することです。Taobao の顧客プロモーションの目的は、ト...

クラウドコンピューティング仮想化の典型的な構造とアクセスアプリケーションモード

クラウド コンピューティングでは、コンピューティング リソース、ストレージ リソース、ネットワーク通...

上海のインターネット企業64,000社が営業許可情報を公開

消費者が饅頭を購入し、詐欺の疑いがある場合、現行の消費者保護法によれば、消費者は1対1の払い戻しで2...

Hupu Cheng Hang: 垂直型ウェブサイト向けのモバイル インターネットへのチケットを入手する方法

4月17日から18日にかけて、iResearch Consulting Groupが主催する第9回i...

明らかにした! Alibaba リアルタイム データ ウェアハウス分散トランザクション スケールアウト設計

[[396205]] 1. はじめにハイブリッド トランザクション分析処理 (HTAP) は、201...