1*c2b1adc4SChristoph Hellwig [1] // SPDX-License-Identifier: GPL-2.0
2*c2b1adc4SChristoph Hellwig [1] /*
3*c2b1adc4SChristoph Hellwig [1] * Copyright (C) 2010 Red Hat, Inc.
4*c2b1adc4SChristoph Hellwig [1] * Copyright (C) 2016-2023 Christoph Hellwig.
5*c2b1adc4SChristoph Hellwig [1] */
6*c2b1adc4SChristoph Hellwig [1] #include <linux/iomap.h>
7*c2b1adc4SChristoph Hellwig [1] #include <linux/pagemap.h>
8*c2b1adc4SChristoph Hellwig [1] #include "internal.h"
9*c2b1adc4SChristoph Hellwig [1] #include "trace.h"
10*c2b1adc4SChristoph Hellwig [1]
iomap_read_end_io(struct bio * bio)11*c2b1adc4SChristoph Hellwig [1] static void iomap_read_end_io(struct bio *bio)
12*c2b1adc4SChristoph Hellwig [1] {
13*c2b1adc4SChristoph Hellwig [1] int error = blk_status_to_errno(bio->bi_status);
14*c2b1adc4SChristoph Hellwig [1] struct folio_iter fi;
15*c2b1adc4SChristoph Hellwig [1]
16*c2b1adc4SChristoph Hellwig [1] bio_for_each_folio_all(fi, bio)
17*c2b1adc4SChristoph Hellwig [1] iomap_finish_folio_read(fi.folio, fi.offset, fi.length, error);
18*c2b1adc4SChristoph Hellwig [1] bio_put(bio);
19*c2b1adc4SChristoph Hellwig [1] }
20*c2b1adc4SChristoph Hellwig [1]
iomap_bio_submit_read(struct iomap_read_folio_ctx * ctx)21*c2b1adc4SChristoph Hellwig [1] static void iomap_bio_submit_read(struct iomap_read_folio_ctx *ctx)
22*c2b1adc4SChristoph Hellwig [1] {
23*c2b1adc4SChristoph Hellwig [1] struct bio *bio = ctx->read_ctx;
24*c2b1adc4SChristoph Hellwig [1]
25*c2b1adc4SChristoph Hellwig [1] if (bio)
26*c2b1adc4SChristoph Hellwig [1] submit_bio(bio);
27*c2b1adc4SChristoph Hellwig [1] }
28*c2b1adc4SChristoph Hellwig [1]
iomap_bio_read_folio_range(const struct iomap_iter * iter,struct iomap_read_folio_ctx * ctx,size_t plen)29*c2b1adc4SChristoph Hellwig [1] static int iomap_bio_read_folio_range(const struct iomap_iter *iter,
30*c2b1adc4SChristoph Hellwig [1] struct iomap_read_folio_ctx *ctx, size_t plen)
31*c2b1adc4SChristoph Hellwig [1] {
32*c2b1adc4SChristoph Hellwig [1] struct folio *folio = ctx->cur_folio;
33*c2b1adc4SChristoph Hellwig [1] const struct iomap *iomap = &iter->iomap;
34*c2b1adc4SChristoph Hellwig [1] loff_t pos = iter->pos;
35*c2b1adc4SChristoph Hellwig [1] size_t poff = offset_in_folio(folio, pos);
36*c2b1adc4SChristoph Hellwig [1] loff_t length = iomap_length(iter);
37*c2b1adc4SChristoph Hellwig [1] sector_t sector;
38*c2b1adc4SChristoph Hellwig [1] struct bio *bio = ctx->read_ctx;
39*c2b1adc4SChristoph Hellwig [1]
40*c2b1adc4SChristoph Hellwig [1] sector = iomap_sector(iomap, pos);
41*c2b1adc4SChristoph Hellwig [1] if (!bio || bio_end_sector(bio) != sector ||
42*c2b1adc4SChristoph Hellwig [1] !bio_add_folio(bio, folio, plen, poff)) {
43*c2b1adc4SChristoph Hellwig [1] gfp_t gfp = mapping_gfp_constraint(folio->mapping, GFP_KERNEL);
44*c2b1adc4SChristoph Hellwig [1] gfp_t orig_gfp = gfp;
45*c2b1adc4SChristoph Hellwig [1] unsigned int nr_vecs = DIV_ROUND_UP(length, PAGE_SIZE);
46*c2b1adc4SChristoph Hellwig [1]
47*c2b1adc4SChristoph Hellwig [1] if (bio)
48*c2b1adc4SChristoph Hellwig [1] submit_bio(bio);
49*c2b1adc4SChristoph Hellwig [1]
50*c2b1adc4SChristoph Hellwig [1] if (ctx->rac) /* same as readahead_gfp_mask */
51*c2b1adc4SChristoph Hellwig [1] gfp |= __GFP_NORETRY | __GFP_NOWARN;
52*c2b1adc4SChristoph Hellwig [1] bio = bio_alloc(iomap->bdev, bio_max_segs(nr_vecs), REQ_OP_READ,
53*c2b1adc4SChristoph Hellwig [1] gfp);
54*c2b1adc4SChristoph Hellwig [1] /*
55*c2b1adc4SChristoph Hellwig [1] * If the bio_alloc fails, try it again for a single page to
56*c2b1adc4SChristoph Hellwig [1] * avoid having to deal with partial page reads. This emulates
57*c2b1adc4SChristoph Hellwig [1] * what do_mpage_read_folio does.
58*c2b1adc4SChristoph Hellwig [1] */
59*c2b1adc4SChristoph Hellwig [1] if (!bio)
60*c2b1adc4SChristoph Hellwig [1] bio = bio_alloc(iomap->bdev, 1, REQ_OP_READ, orig_gfp);
61*c2b1adc4SChristoph Hellwig [1] if (ctx->rac)
62*c2b1adc4SChristoph Hellwig [1] bio->bi_opf |= REQ_RAHEAD;
63*c2b1adc4SChristoph Hellwig [1] bio->bi_iter.bi_sector = sector;
64*c2b1adc4SChristoph Hellwig [1] bio->bi_end_io = iomap_read_end_io;
65*c2b1adc4SChristoph Hellwig [1] bio_add_folio_nofail(bio, folio, plen, poff);
66*c2b1adc4SChristoph Hellwig [1] ctx->read_ctx = bio;
67*c2b1adc4SChristoph Hellwig [1] }
68*c2b1adc4SChristoph Hellwig [1] return 0;
69*c2b1adc4SChristoph Hellwig [1] }
70*c2b1adc4SChristoph Hellwig [1]
71*c2b1adc4SChristoph Hellwig [1] const struct iomap_read_ops iomap_bio_read_ops = {
72*c2b1adc4SChristoph Hellwig [1] .read_folio_range = iomap_bio_read_folio_range,
73*c2b1adc4SChristoph Hellwig [1] .submit_read = iomap_bio_submit_read,
74*c2b1adc4SChristoph Hellwig [1] };
75*c2b1adc4SChristoph Hellwig [1] EXPORT_SYMBOL_GPL(iomap_bio_read_ops);
76*c2b1adc4SChristoph Hellwig [1]
iomap_bio_read_folio_range_sync(const struct iomap_iter * iter,struct folio * folio,loff_t pos,size_t len)77*c2b1adc4SChristoph Hellwig [1] int iomap_bio_read_folio_range_sync(const struct iomap_iter *iter,
78*c2b1adc4SChristoph Hellwig [1] struct folio *folio, loff_t pos, size_t len)
79*c2b1adc4SChristoph Hellwig [1] {
80*c2b1adc4SChristoph Hellwig [1] const struct iomap *srcmap = iomap_iter_srcmap(iter);
81*c2b1adc4SChristoph Hellwig [1] struct bio_vec bvec;
82*c2b1adc4SChristoph Hellwig [1] struct bio bio;
83*c2b1adc4SChristoph Hellwig [1]
84*c2b1adc4SChristoph Hellwig [1] bio_init(&bio, srcmap->bdev, &bvec, 1, REQ_OP_READ);
85*c2b1adc4SChristoph Hellwig [1] bio.bi_iter.bi_sector = iomap_sector(srcmap, pos);
86*c2b1adc4SChristoph Hellwig [1] bio_add_folio_nofail(&bio, folio, len, offset_in_folio(folio, pos));
87*c2b1adc4SChristoph Hellwig [1] return submit_bio_wait(&bio);
88*c2b1adc4SChristoph Hellwig [1] }
89