📄 CSV — सबसे आम फ़ॉर्मैट (read csv python)

CSV files को Pandas से import करना तेज और सरल है। नीचे कुछ महत्वपूर्ण parameters और examples दिए गए हैं।

# Basic read
import pandas as pd
df = pd.read_csv('data/sales.csv')

# Common useful options
df = pd.read_csv('data/sales.csv', encoding='utf-8', parse_dates=['InvoiceDate'], usecols=['InvoiceDate','Product','Revenue'])

# For large files: read in chunks
chunks = pd.read_csv('data/large_sales.csv', chunksize=100000)
for chunk in chunks:
    process(chunk)   # define process() to clean/aggregate per chunk
      

• encoding: अगर special characters हैं तो encoding='utf-8' / 'latin-1' try करें।
• parse_dates: तारीख़ को सही dtype में लाने के लिए use करें।
• usecols: सिर्फ ज़रूरी columns लाने से memory बचती है।

📑 Excel — multiple sheets और ranges

Excel (.xlsx/.xls) से Pandas में data import करने के लिए read_excel का उपयोग करें — worksheets और header rows specify कर सकते हैं।

# Read specific sheet
df = pd.read_excel('data/report.xlsx', sheet_name='Sheet1')

# Read multiple sheets into dict
sheets = pd.read_excel('data/report.xlsx', sheet_name=['Sheet1','Sheet2'])

# Read with header row at second row
df = pd.read_excel('data/report.xlsx', header=1)
      

Note: For large Excel files, consider saving as CSV before importing to speed up processing.

🔗 JSON — nested data structures

APIs अक्सर JSON return करते हैं। Pandas का read_json सरल JSON को handle कर लेता है; nested structures के लिए json_normalize उपयोगी है।

import json
from pandas import json_normalize
import pandas as pd

with open('data/users.json','r',encoding='utf-8') as f:
    data = json.load(f)

df = json_normalize(data, record_path=['orders'], meta=['user_id','name'])
      

Tip: Inspect JSON structure first (print keys) to decide normalization strategy.

🗄 SQL — database से सीधे import

SQLite या किसी database से Pandas में सीधे डेटा import करना आसान है — SQL query results को DataFrame में लाएँ।

# Using sqlite3 (local DB)
import sqlite3
import pandas as pd

conn = sqlite3.connect('data/mydb.sqlite')
df = pd.read_sql_query('SELECT * FROM sales WHERE Year=2024', conn)
conn.close()

# Using SQLAlchemy for other DBs (MySQL/Postgres)
from sqlalchemy import create_engine
engine = create_engine('postgresql://user:pass@host:port/dbname')
df = pd.read_sql('SELECT * FROM analytics_table', engine)
      

Security tip: Never hardcode DB passwords — use environment variables or secret managers.

⚡ बड़ी फाइल्स और Memory Tips

• usecols: केवल ज़रूरी columns load करें — memory बचती है.
• dtype: numeric columns का dtype specify करें — pd.read_csv(..., dtype={'col': 'int32'}).
• chunksize: large CSV को chunks में process करें और aggregation करके results combine करें.
• feather / parquet: intermediate storage के लिए binary formats (fast read/write) use करें — df.to_parquet().

💾 Import के बाद Export (cleaned data save)

# After cleaning
df.to_csv('data/sales_cleaned.csv', index=False)
df.to_parquet('data/sales_cleaned.parquet')
      

Parquet/Feather बड़ी फाइल्स के लिए तेज़ और storage-efficient होते हैं।

Quick FAQ

Q: File not opening due to encoding error?
A: Try encoding='latin-1' or inspect file in editor to find encoding.

Q: Dates not parsed correctly?
A: Use parse_dates=['date_col'] and dayfirst=True if needed.