Logfile Roundup
Logfile Roundup
@LogfileRoundup

DuckDB for log analysis: SQL on your laptop, no server

DuckDB for log analysis: SQL on your laptop, no server
The quiet revolution — query gigabytes of logs locally without a database to maintain.

→ DuckDB docs on read_csv — point it at a combined-format log with a custom delimiter and you're running SQL in seconds.
★ Pick of the week — Mark Litwintschik's billion-row log benchmarks — shows DuckDB chewing through access logs faster than a loaded Postgres, all in memory or out-of-core. The benchmark that converted me.
→ Hrishi Olickel / "DuckDB for analysts" threads — practical regexp_extract recipes to parse the UA and status into columns.
→ DuckDB httpfs extension — query gzipped logs straight from S3 without downloading.

Takeaway: duckdb -c "SELECT ... FROM read_csv('access.log*')" replaces a whole ELK stack for ad-hoc work.
Этот пост опубликован в Telegram-канале Logfile Roundup. Подписаться можно по ссылке: @LogfileRoundup.
tech

Свежие посты в категории «Tech Infrastructure»

Все каналы категории →

start

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.