1*c2b1adc4SChristoph Hellwig [1] // SPDX-License-Identifier: GPL-2.0 2*c2b1adc4SChristoph Hellwig [1] /* 3*c2b1adc4SChristoph Hellwig [1] * Copyright (C) 2010 Red Hat, Inc. 4*c2b1adc4SChristoph Hellwig [1] * Copyright (C) 2016-2023 Christoph Hellwig. 5*c2b1adc4SChristoph Hellwig [1] */ 6*c2b1adc4SChristoph Hellwig [1] #include <linux/iomap.h> 7*c2b1adc4SChristoph Hellwig [1] #include <linux/pagemap.h> 8*c2b1adc4SChristoph Hellwig [1] #include "internal.h" 9*c2b1adc4SChristoph Hellwig [1] #include "trace.h" 10*c2b1adc4SChristoph Hellwig [1] 11*c2b1adc4SChristoph Hellwig [1] static void iomap_read_end_io(struct bio *bio) 12*c2b1adc4SChristoph Hellwig [1] { 13*c2b1adc4SChristoph Hellwig [1] int error = blk_status_to_errno(bio->bi_status); 14*c2b1adc4SChristoph Hellwig [1] struct folio_iter fi; 15*c2b1adc4SChristoph Hellwig [1] 16*c2b1adc4SChristoph Hellwig [1] bio_for_each_folio_all(fi, bio) 17*c2b1adc4SChristoph Hellwig [1] iomap_finish_folio_read(fi.folio, fi.offset, fi.length, error); 18*c2b1adc4SChristoph Hellwig [1] bio_put(bio); 19*c2b1adc4SChristoph Hellwig [1] } 20*c2b1adc4SChristoph Hellwig [1] 21*c2b1adc4SChristoph Hellwig [1] static void iomap_bio_submit_read(struct iomap_read_folio_ctx *ctx) 22*c2b1adc4SChristoph Hellwig [1] { 23*c2b1adc4SChristoph Hellwig [1] struct bio *bio = ctx->read_ctx; 24*c2b1adc4SChristoph Hellwig [1] 25*c2b1adc4SChristoph Hellwig [1] if (bio) 26*c2b1adc4SChristoph Hellwig [1] submit_bio(bio); 27*c2b1adc4SChristoph Hellwig [1] } 28*c2b1adc4SChristoph Hellwig [1] 29*c2b1adc4SChristoph Hellwig [1] static int iomap_bio_read_folio_range(const struct iomap_iter *iter, 30*c2b1adc4SChristoph Hellwig [1] struct iomap_read_folio_ctx *ctx, size_t plen) 31*c2b1adc4SChristoph Hellwig [1] { 32*c2b1adc4SChristoph Hellwig [1] struct folio *folio = ctx->cur_folio; 33*c2b1adc4SChristoph Hellwig [1] const struct iomap *iomap = &iter->iomap; 34*c2b1adc4SChristoph Hellwig [1] loff_t pos = iter->pos; 35*c2b1adc4SChristoph Hellwig [1] size_t poff = offset_in_folio(folio, pos); 36*c2b1adc4SChristoph Hellwig [1] loff_t length = iomap_length(iter); 37*c2b1adc4SChristoph Hellwig [1] sector_t sector; 38*c2b1adc4SChristoph Hellwig [1] struct bio *bio = ctx->read_ctx; 39*c2b1adc4SChristoph Hellwig [1] 40*c2b1adc4SChristoph Hellwig [1] sector = iomap_sector(iomap, pos); 41*c2b1adc4SChristoph Hellwig [1] if (!bio || bio_end_sector(bio) != sector || 42*c2b1adc4SChristoph Hellwig [1] !bio_add_folio(bio, folio, plen, poff)) { 43*c2b1adc4SChristoph Hellwig [1] gfp_t gfp = mapping_gfp_constraint(folio->mapping, GFP_KERNEL); 44*c2b1adc4SChristoph Hellwig [1] gfp_t orig_gfp = gfp; 45*c2b1adc4SChristoph Hellwig [1] unsigned int nr_vecs = DIV_ROUND_UP(length, PAGE_SIZE); 46*c2b1adc4SChristoph Hellwig [1] 47*c2b1adc4SChristoph Hellwig [1] if (bio) 48*c2b1adc4SChristoph Hellwig [1] submit_bio(bio); 49*c2b1adc4SChristoph Hellwig [1] 50*c2b1adc4SChristoph Hellwig [1] if (ctx->rac) /* same as readahead_gfp_mask */ 51*c2b1adc4SChristoph Hellwig [1] gfp |= __GFP_NORETRY | __GFP_NOWARN; 52*c2b1adc4SChristoph Hellwig [1] bio = bio_alloc(iomap->bdev, bio_max_segs(nr_vecs), REQ_OP_READ, 53*c2b1adc4SChristoph Hellwig [1] gfp); 54*c2b1adc4SChristoph Hellwig [1] /* 55*c2b1adc4SChristoph Hellwig [1] * If the bio_alloc fails, try it again for a single page to 56*c2b1adc4SChristoph Hellwig [1] * avoid having to deal with partial page reads. This emulates 57*c2b1adc4SChristoph Hellwig [1] * what do_mpage_read_folio does. 58*c2b1adc4SChristoph Hellwig [1] */ 59*c2b1adc4SChristoph Hellwig [1] if (!bio) 60*c2b1adc4SChristoph Hellwig [1] bio = bio_alloc(iomap->bdev, 1, REQ_OP_READ, orig_gfp); 61*c2b1adc4SChristoph Hellwig [1] if (ctx->rac) 62*c2b1adc4SChristoph Hellwig [1] bio->bi_opf |= REQ_RAHEAD; 63*c2b1adc4SChristoph Hellwig [1] bio->bi_iter.bi_sector = sector; 64*c2b1adc4SChristoph Hellwig [1] bio->bi_end_io = iomap_read_end_io; 65*c2b1adc4SChristoph Hellwig [1] bio_add_folio_nofail(bio, folio, plen, poff); 66*c2b1adc4SChristoph Hellwig [1] ctx->read_ctx = bio; 67*c2b1adc4SChristoph Hellwig [1] } 68*c2b1adc4SChristoph Hellwig [1] return 0; 69*c2b1adc4SChristoph Hellwig [1] } 70*c2b1adc4SChristoph Hellwig [1] 71*c2b1adc4SChristoph Hellwig [1] const struct iomap_read_ops iomap_bio_read_ops = { 72*c2b1adc4SChristoph Hellwig [1] .read_folio_range = iomap_bio_read_folio_range, 73*c2b1adc4SChristoph Hellwig [1] .submit_read = iomap_bio_submit_read, 74*c2b1adc4SChristoph Hellwig [1] }; 75*c2b1adc4SChristoph Hellwig [1] EXPORT_SYMBOL_GPL(iomap_bio_read_ops); 76*c2b1adc4SChristoph Hellwig [1] 77*c2b1adc4SChristoph Hellwig [1] int iomap_bio_read_folio_range_sync(const struct iomap_iter *iter, 78*c2b1adc4SChristoph Hellwig [1] struct folio *folio, loff_t pos, size_t len) 79*c2b1adc4SChristoph Hellwig [1] { 80*c2b1adc4SChristoph Hellwig [1] const struct iomap *srcmap = iomap_iter_srcmap(iter); 81*c2b1adc4SChristoph Hellwig [1] struct bio_vec bvec; 82*c2b1adc4SChristoph Hellwig [1] struct bio bio; 83*c2b1adc4SChristoph Hellwig [1] 84*c2b1adc4SChristoph Hellwig [1] bio_init(&bio, srcmap->bdev, &bvec, 1, REQ_OP_READ); 85*c2b1adc4SChristoph Hellwig [1] bio.bi_iter.bi_sector = iomap_sector(srcmap, pos); 86*c2b1adc4SChristoph Hellwig [1] bio_add_folio_nofail(&bio, folio, len, offset_in_folio(folio, pos)); 87*c2b1adc4SChristoph Hellwig [1] return submit_bio_wait(&bio); 88*c2b1adc4SChristoph Hellwig [1] } 89