Fix letremoveunused, it removed all used bindings.
[matthijs/master-project/cλash.git] / cλash / CLasH / Normalize.hs
1 {-# LANGUAGE PackageImports #-}
2 --
3 -- Functions to bring a Core expression in normal form. This module provides a
4 -- top level function "normalize", and defines the actual transformation passes that
5 -- are performed.
6 --
7 module CLasH.Normalize (getNormalized, normalizeExpr) where
8
9 -- Standard modules
10 import Debug.Trace
11 import qualified Maybe
12 import qualified "transformers" Control.Monad.Trans as Trans
13 import qualified Control.Monad as Monad
14 import qualified Control.Monad.Trans.Writer as Writer
15 import qualified Data.Map as Map
16 import qualified Data.Monoid as Monoid
17 import Data.Accessor
18
19 -- GHC API
20 import CoreSyn
21 import qualified UniqSupply
22 import qualified CoreUtils
23 import qualified Type
24 import qualified TcType
25 import qualified Id
26 import qualified Var
27 import qualified VarSet
28 import qualified NameSet
29 import qualified CoreFVs
30 import qualified CoreUtils
31 import qualified MkCore
32 import qualified HscTypes
33 import Outputable ( showSDoc, ppr, nest )
34
35 -- Local imports
36 import CLasH.Normalize.NormalizeTypes
37 import CLasH.Translator.TranslatorTypes
38 import CLasH.Normalize.NormalizeTools
39 import CLasH.VHDL.VHDLTypes
40 import qualified CLasH.Utils as Utils
41 import CLasH.Utils.Core.CoreTools
42 import CLasH.Utils.Core.BinderTools
43 import CLasH.Utils.Pretty
44
45 --------------------------------
46 -- Start of transformations
47 --------------------------------
48
49 --------------------------------
50 -- η abstraction
51 --------------------------------
52 eta, etatop :: Transform
53 eta expr | is_fun expr && not (is_lam expr) = do
54   let arg_ty = (fst . Type.splitFunTy . CoreUtils.exprType) expr
55   id <- Trans.lift $ mkInternalVar "param" arg_ty
56   change (Lam id (App expr (Var id)))
57 -- Leave all other expressions unchanged
58 eta e = return e
59 etatop = notappargs ("eta", eta)
60
61 --------------------------------
62 -- β-reduction
63 --------------------------------
64 beta, betatop :: Transform
65 -- Substitute arg for x in expr
66 beta (App (Lam x expr) arg) = change $ substitute [(x, arg)] expr
67 -- Propagate the application into the let
68 beta (App (Let binds expr) arg) = change $ Let binds (App expr arg)
69 -- Propagate the application into each of the alternatives
70 beta (App (Case scrut b ty alts) arg) = change $ Case scrut b ty' alts'
71   where 
72     alts' = map (\(con, bndrs, expr) -> (con, bndrs, (App expr arg))) alts
73     ty' = CoreUtils.applyTypeToArg ty arg
74 -- Leave all other expressions unchanged
75 beta expr = return expr
76 -- Perform this transform everywhere
77 betatop = everywhere ("beta", beta)
78
79 --------------------------------
80 -- Cast propagation
81 --------------------------------
82 -- Try to move casts as much downward as possible.
83 castprop, castproptop :: Transform
84 castprop (Cast (Let binds expr) ty) = change $ Let binds (Cast expr ty)
85 castprop expr@(Cast (Case scrut b _ alts) ty) = change (Case scrut b ty alts')
86   where
87     alts' = map (\(con, bndrs, expr) -> (con, bndrs, (Cast expr ty))) alts
88 -- Leave all other expressions unchanged
89 castprop expr = return expr
90 -- Perform this transform everywhere
91 castproptop = everywhere ("castprop", castprop)
92
93 --------------------------------
94 -- let recursification
95 --------------------------------
96 letrec, letrectop :: Transform
97 letrec (Let (NonRec b expr) res) = change $ Let (Rec [(b, expr)]) res
98 -- Leave all other expressions unchanged
99 letrec expr = return expr
100 -- Perform this transform everywhere
101 letrectop = everywhere ("letrec", letrec)
102
103 --------------------------------
104 -- let simplification
105 --------------------------------
106 letsimpl, letsimpltop :: Transform
107 -- Put the "in ..." value of a let in its own binding, but not when the
108 -- expression is already a local variable, or not representable (to prevent loops with inlinenonrep).
109 letsimpl expr@(Let (Rec binds) res) = do
110   repr <- isRepr res
111   local_var <- Trans.lift $ is_local_var res
112   if not local_var && repr
113     then do
114       -- If the result is not a local var already (to prevent loops with
115       -- ourselves), extract it.
116       id <- Trans.lift $ mkInternalVar "foo" (CoreUtils.exprType res)
117       let bind = (id, res)
118       change $ Let (Rec (bind:binds)) (Var id)
119     else
120       -- If the result is already a local var, don't extract it.
121       return expr
122
123 -- Leave all other expressions unchanged
124 letsimpl expr = return expr
125 -- Perform this transform everywhere
126 letsimpltop = everywhere ("letsimpl", letsimpl)
127
128 --------------------------------
129 -- let flattening
130 --------------------------------
131 letflat, letflattop :: Transform
132 letflat (Let (Rec binds) expr) = do
133   -- Turn each binding into a list of bindings (possibly containing just one
134   -- element, of course)
135   bindss <- Monad.mapM flatbind binds
136   -- Concat all the bindings
137   let binds' = concat bindss
138   -- Return the new let. We don't use change here, since possibly nothing has
139   -- changed. If anything has changed, flatbind has already flagged that
140   -- change.
141   return $ Let (Rec binds') expr
142   where
143     -- Turns a binding of a let into a multiple bindings, or any other binding
144     -- into a list with just that binding
145     flatbind :: (CoreBndr, CoreExpr) -> TransformMonad [(CoreBndr, CoreExpr)]
146     flatbind (b, Let (Rec binds) expr) = change ((b, expr):binds)
147     flatbind (b, expr) = return [(b, expr)]
148 -- Leave all other expressions unchanged
149 letflat expr = return expr
150 -- Perform this transform everywhere
151 letflattop = everywhere ("letflat", letflat)
152
153 --------------------------------
154 -- Simple let binding removal
155 --------------------------------
156 -- Remove a = b bindings from let expressions everywhere
157 letremovetop :: Transform
158 letremovetop = everywhere ("letremove", inlinebind (\(b, e) -> Trans.lift $ is_local_var e))
159
160 --------------------------------
161 -- Unused let binding removal
162 --------------------------------
163 letremoveunused, letremoveunusedtop :: Transform
164 letremoveunused expr@(Let (Rec binds) res) = do
165   -- Filter out all unused binds.
166   let binds' = filter dobind binds
167   -- Only set the changed flag if binds got removed
168   changeif (length binds' /= length binds) (Let (Rec binds') res)
169     where
170       bound_exprs = map snd binds
171       -- For each bind check if the bind is used by res or any of the bound
172       -- expressions
173       dobind (bndr, _) = any (expr_uses_binders [bndr]) (res:bound_exprs)
174 -- Leave all other expressions unchanged
175 letremoveunused expr = return expr
176 letremoveunusedtop = everywhere ("letremoveunused", letremoveunused)
177
178 --------------------------------
179 -- Function inlining
180 --------------------------------
181 -- Remove a = B bindings, with B :: a -> b, or B :: forall x . T, from let
182 -- expressions everywhere. This means that any value that still needs to be
183 -- applied to something else (polymorphic values need to be applied to a
184 -- Type) will be inlined, and will eventually be applied to all their
185 -- arguments.
186 --
187 -- This is a tricky function, which is prone to create loops in the
188 -- transformations. To fix this, we make sure that no transformation will
189 -- create a new let binding with a function type. These other transformations
190 -- will just not work on those function-typed values at first, but the other
191 -- transformations (in particular β-reduction) should make sure that the type
192 -- of those values eventually becomes primitive.
193 inlinenonreptop :: Transform
194 inlinenonreptop = everywhere ("inlinenonrep", inlinebind ((Monad.liftM not) . isRepr . snd))
195
196 --------------------------------
197 -- Scrutinee simplification
198 --------------------------------
199 scrutsimpl,scrutsimpltop :: Transform
200 -- Don't touch scrutinees that are already simple
201 scrutsimpl expr@(Case (Var _) _ _ _) = return expr
202 -- Replace all other cases with a let that binds the scrutinee and a new
203 -- simple scrutinee, but only when the scrutinee is representable (to prevent
204 -- loops with inlinenonrep, though I don't think a non-representable scrutinee
205 -- will be supported anyway...) 
206 scrutsimpl expr@(Case scrut b ty alts) = do
207   repr <- isRepr scrut
208   if repr
209     then do
210       id <- Trans.lift $ mkInternalVar "scrut" (CoreUtils.exprType scrut)
211       change $ Let (Rec [(id, scrut)]) (Case (Var id) b ty alts)
212     else
213       return expr
214 -- Leave all other expressions unchanged
215 scrutsimpl expr = return expr
216 -- Perform this transform everywhere
217 scrutsimpltop = everywhere ("scrutsimpl", scrutsimpl)
218
219 --------------------------------
220 -- Case binder wildening
221 --------------------------------
222 casesimpl, casesimpltop :: Transform
223 -- This is already a selector case (or, if x does not appear in bndrs, a very
224 -- simple case statement that will be removed by caseremove below). Just leave
225 -- it be.
226 casesimpl expr@(Case scrut b ty [(con, bndrs, Var x)]) = return expr
227 -- Make sure that all case alternatives have only wild binders and simple
228 -- expressions.
229 -- This is done by creating a new let binding for each non-wild binder, which
230 -- is bound to a new simple selector case statement and for each complex
231 -- expression. We do this only for representable types, to prevent loops with
232 -- inlinenonrep.
233 casesimpl expr@(Case scrut b ty alts) = do
234   (bindingss, alts') <- (Monad.liftM unzip) $ mapM doalt alts
235   let bindings = concat bindingss
236   -- Replace the case with a let with bindings and a case
237   let newlet = (Let (Rec bindings) (Case scrut b ty alts'))
238   -- If there are no non-wild binders, or this case is already a simple
239   -- selector (i.e., a single alt with exactly one binding), already a simple
240   -- selector altan no bindings (i.e., no wild binders in the original case),
241   -- don't change anything, otherwise, replace the case.
242   if null bindings then return expr else change newlet 
243   where
244   -- Generate a single wild binder, since they are all the same
245   wild = MkCore.mkWildBinder
246   -- Wilden the binders of one alt, producing a list of bindings as a
247   -- sideeffect.
248   doalt :: CoreAlt -> TransformMonad ([(CoreBndr, CoreExpr)], CoreAlt)
249   doalt (con, bndrs, expr) = do
250     -- Make each binder wild, if possible
251     bndrs_res <- Monad.zipWithM dobndr bndrs [0..]
252     let (newbndrs, bindings_maybe) = unzip bndrs_res
253     -- Extract a complex expression, if possible. For this we check if any of
254     -- the new list of bndrs are used by expr. We can't use free_vars here,
255     -- since that looks at the old bndrs.
256     let uses_bndrs = not $ VarSet.isEmptyVarSet $ CoreFVs.exprSomeFreeVars (`elem` newbndrs) $ expr
257     (exprbinding_maybe, expr') <- doexpr expr uses_bndrs
258     -- Create a new alternative
259     let newalt = (con, newbndrs, expr')
260     let bindings = Maybe.catMaybes (exprbinding_maybe : bindings_maybe)
261     return (bindings, newalt)
262     where
263       -- Make wild alternatives for each binder
264       wildbndrs = map (\bndr -> MkCore.mkWildBinder (Id.idType bndr)) bndrs
265       -- A set of all the binders that are used by the expression
266       free_vars = CoreFVs.exprSomeFreeVars (`elem` bndrs) expr
267       -- Look at the ith binder in the case alternative. Return a new binder
268       -- for it (either the same one, or a wild one) and optionally a let
269       -- binding containing a case expression.
270       dobndr :: CoreBndr -> Int -> TransformMonad (CoreBndr, Maybe (CoreBndr, CoreExpr))
271       dobndr b i = do
272         repr <- isRepr (Var b)
273         -- Is b wild (e.g., not a free var of expr. Since b is only in scope
274         -- in expr, this means that b is unused if expr does not use it.)
275         let wild = not (VarSet.elemVarSet b free_vars)
276         -- Create a new binding for any representable binder that is not
277         -- already wild and is representable (to prevent loops with
278         -- inlinenonrep).
279         if (not wild) && repr
280           then do
281             -- Create on new binder that will actually capture a value in this
282             -- case statement, and return it.
283             let bty = (Id.idType b)
284             id <- Trans.lift $ mkInternalVar "sel" bty
285             let binders = take i wildbndrs ++ [id] ++ drop (i+1) wildbndrs
286             let caseexpr = Case scrut b bty [(con, binders, Var id)]
287             return (wildbndrs!!i, Just (b, caseexpr))
288           else 
289             -- Just leave the original binder in place, and don't generate an
290             -- extra selector case.
291             return (b, Nothing)
292       -- Process the expression of a case alternative. Accepts an expression
293       -- and whether this expression uses any of the binders in the
294       -- alternative. Returns an optional new binding and a new expression.
295       doexpr :: CoreExpr -> Bool -> TransformMonad (Maybe (CoreBndr, CoreExpr), CoreExpr)
296       doexpr expr uses_bndrs = do
297         local_var <- Trans.lift $ is_local_var expr
298         repr <- isRepr expr
299         -- Extract any expressions that do not use any binders from this
300         -- alternative, is not a local var already and is representable (to
301         -- prevent loops with inlinenonrep).
302         if (not uses_bndrs) && (not local_var) && repr
303           then do
304             id <- Trans.lift $ mkInternalVar "caseval" (CoreUtils.exprType expr)
305             -- We don't flag a change here, since casevalsimpl will do that above
306             -- based on Just we return here.
307             return $ (Just (id, expr), Var id)
308           else
309             -- Don't simplify anything else
310             return (Nothing, expr)
311 -- Leave all other expressions unchanged
312 casesimpl expr = return expr
313 -- Perform this transform everywhere
314 casesimpltop = everywhere ("casesimpl", casesimpl)
315
316 --------------------------------
317 -- Case removal
318 --------------------------------
319 -- Remove case statements that have only a single alternative and only wild
320 -- binders.
321 caseremove, caseremovetop :: Transform
322 -- Replace a useless case by the value of its single alternative
323 caseremove (Case scrut b ty [(con, bndrs, expr)]) | not usesvars = change expr
324     -- Find if any of the binders are used by expr
325     where usesvars = (not . VarSet.isEmptyVarSet . (CoreFVs.exprSomeFreeVars (`elem` bndrs))) expr
326 -- Leave all other expressions unchanged
327 caseremove expr = return expr
328 -- Perform this transform everywhere
329 caseremovetop = everywhere ("caseremove", caseremove)
330
331 --------------------------------
332 -- Argument extraction
333 --------------------------------
334 -- Make sure that all arguments of a representable type are simple variables.
335 appsimpl, appsimpltop :: Transform
336 -- Simplify all representable arguments. Do this by introducing a new Let
337 -- that binds the argument and passing the new binder in the application.
338 appsimpl expr@(App f arg) = do
339   -- Check runtime representability
340   repr <- isRepr arg
341   local_var <- Trans.lift $ is_local_var arg
342   if repr && not local_var
343     then do -- Extract representable arguments
344       id <- Trans.lift $ mkInternalVar "arg" (CoreUtils.exprType arg)
345       change $ Let (Rec [(id, arg)]) (App f (Var id))
346     else -- Leave non-representable arguments unchanged
347       return expr
348 -- Leave all other expressions unchanged
349 appsimpl expr = return expr
350 -- Perform this transform everywhere
351 appsimpltop = everywhere ("appsimpl", appsimpl)
352
353 --------------------------------
354 -- Function-typed argument propagation
355 --------------------------------
356 -- Remove all applications to function-typed arguments, by duplication the
357 -- function called with the function-typed parameter replaced by the free
358 -- variables of the argument passed in.
359 argprop, argproptop :: Transform
360 -- Transform any application of a named function (i.e., skip applications of
361 -- lambda's). Also skip applications that have arguments with free type
362 -- variables, since we can't inline those.
363 argprop expr@(App _ _) | is_var fexpr = do
364   -- Find the body of the function called
365   body_maybe <- Trans.lift $ getGlobalBind f
366   case body_maybe of
367     Just body -> do
368       -- Process each of the arguments in turn
369       (args', changed) <- Writer.listen $ mapM doarg args
370       -- See if any of the arguments changed
371       case Monoid.getAny changed of
372         True -> do
373           let (newargs', newparams', oldargs) = unzip3 args'
374           let newargs = concat newargs'
375           let newparams = concat newparams'
376           -- Create a new body that consists of a lambda for all new arguments and
377           -- the old body applied to some arguments.
378           let newbody = MkCore.mkCoreLams newparams (MkCore.mkCoreApps body oldargs)
379           -- Create a new function with the same name but a new body
380           newf <- Trans.lift $ mkFunction f newbody
381           -- Replace the original application with one of the new function to the
382           -- new arguments.
383           change $ MkCore.mkCoreApps (Var newf) newargs
384         False ->
385           -- Don't change the expression if none of the arguments changed
386           return expr
387       
388     -- If we don't have a body for the function called, leave it unchanged (it
389     -- should be a primitive function then).
390     Nothing -> return expr
391   where
392     -- Find the function called and the arguments
393     (fexpr, args) = collectArgs expr
394     Var f = fexpr
395
396     -- Process a single argument and return (args, bndrs, arg), where args are
397     -- the arguments to replace the given argument in the original
398     -- application, bndrs are the binders to include in the top-level lambda
399     -- in the new function body, and arg is the argument to apply to the old
400     -- function body.
401     doarg :: CoreExpr -> TransformMonad ([CoreExpr], [CoreBndr], CoreExpr)
402     doarg arg = do
403       repr <- isRepr arg
404       bndrs <- Trans.lift getGlobalBinders
405       let interesting var = Var.isLocalVar var && (not $ var `elem` bndrs)
406       if not repr && not (is_var arg && interesting (exprToVar arg)) && not (has_free_tyvars arg) 
407         then do
408           -- Propagate all complex arguments that are not representable, but not
409           -- arguments with free type variables (since those would require types
410           -- not known yet, which will always be known eventually).
411           -- Find interesting free variables, each of which should be passed to
412           -- the new function instead of the original function argument.
413           -- 
414           -- Interesting vars are those that are local, but not available from the
415           -- top level scope (functions from this module are defined as local, but
416           -- they're not local to this function, so we can freely move references
417           -- to them into another function).
418           let free_vars = VarSet.varSetElems $ CoreFVs.exprSomeFreeVars interesting arg
419           -- Mark the current expression as changed
420           setChanged
421           return (map Var free_vars, free_vars, arg)
422         else do
423           -- Representable types will not be propagated, and arguments with free
424           -- type variables will be propagated later.
425           -- TODO: preserve original naming?
426           id <- Trans.lift $ mkBinderFor arg "param"
427           -- Just pass the original argument to the new function, which binds it
428           -- to a new id and just pass that new id to the old function body.
429           return ([arg], [id], mkReferenceTo id) 
430 -- Leave all other expressions unchanged
431 argprop expr = return expr
432 -- Perform this transform everywhere
433 argproptop = everywhere ("argprop", argprop)
434
435 --------------------------------
436 -- Function-typed argument extraction
437 --------------------------------
438 -- This transform takes any function-typed argument that cannot be propagated
439 -- (because the function that is applied to it is a builtin function), and
440 -- puts it in a brand new top level binder. This allows us to for example
441 -- apply map to a lambda expression This will not conflict with inlinenonrep,
442 -- since that only inlines local let bindings, not top level bindings.
443 funextract, funextracttop :: Transform
444 funextract expr@(App _ _) | is_var fexpr = do
445   body_maybe <- Trans.lift $ getGlobalBind f
446   case body_maybe of
447     -- We don't have a function body for f, so we can perform this transform.
448     Nothing -> do
449       -- Find the new arguments
450       args' <- mapM doarg args
451       -- And update the arguments. We use return instead of changed, so the
452       -- changed flag doesn't get set if none of the args got changed.
453       return $ MkCore.mkCoreApps fexpr args'
454     -- We have a function body for f, leave this application to funprop
455     Just _ -> return expr
456   where
457     -- Find the function called and the arguments
458     (fexpr, args) = collectArgs expr
459     Var f = fexpr
460     -- Change any arguments that have a function type, but are not simple yet
461     -- (ie, a variable or application). This means to create a new function
462     -- for map (\f -> ...) b, but not for map (foo a) b.
463     --
464     -- We could use is_applicable here instead of is_fun, but I think
465     -- arguments to functions could only have forall typing when existential
466     -- typing is enabled. Not sure, though.
467     doarg arg | not (is_simple arg) && is_fun arg = do
468       -- Create a new top level binding that binds the argument. Its body will
469       -- be extended with lambda expressions, to take any free variables used
470       -- by the argument expression.
471       let free_vars = VarSet.varSetElems $ CoreFVs.exprFreeVars arg
472       let body = MkCore.mkCoreLams free_vars arg
473       id <- Trans.lift $ mkBinderFor body "fun"
474       Trans.lift $ addGlobalBind id body
475       -- Replace the argument with a reference to the new function, applied to
476       -- all vars it uses.
477       change $ MkCore.mkCoreApps (Var id) (map Var free_vars)
478     -- Leave all other arguments untouched
479     doarg arg = return arg
480
481 -- Leave all other expressions unchanged
482 funextract expr = return expr
483 -- Perform this transform everywhere
484 funextracttop = everywhere ("funextract", funextract)
485
486 --------------------------------
487 -- End of transformations
488 --------------------------------
489
490
491
492
493 -- What transforms to run?
494 transforms = [argproptop, funextracttop, etatop, betatop, castproptop, letremovetop, letrectop, letsimpltop, letflattop, scrutsimpltop, casesimpltop, caseremovetop, inlinenonreptop, appsimpltop, letremoveunusedtop]
495
496 -- | Returns the normalized version of the given function.
497 getNormalized ::
498   CoreBndr -- ^ The function to get
499   -> TranslatorSession CoreExpr -- The normalized function body
500
501 getNormalized bndr = Utils.makeCached bndr tsNormalized $ do
502   if is_poly (Var bndr)
503     then
504       -- This should really only happen at the top level... TODO: Give
505       -- a different error if this happens down in the recursion.
506       error $ "\nNormalize.normalizeBind: Function " ++ show bndr ++ " is polymorphic, can't normalize"
507     else do
508       expr <- getBinding bndr
509       normalizeExpr (show bndr) expr
510
511 -- | Normalize an expression
512 normalizeExpr ::
513   String -- ^ What are we normalizing? For debug output only.
514   -> CoreSyn.CoreExpr -- ^ The expression to normalize 
515   -> TranslatorSession CoreSyn.CoreExpr -- ^ The normalized expression
516
517 normalizeExpr what expr = do
518       -- Introduce an empty Let at the top level, so there will always be
519       -- a let in the expression (none of the transformations will remove
520       -- the last let).
521       let expr' = Let (Rec []) expr
522       -- Normalize this expression
523       trace ("Transforming " ++ what ++ "\nBefore:\n\n" ++ showSDoc ( ppr expr' ) ++ "\n") $ return ()
524       expr'' <- dotransforms transforms expr'
525       trace ("\nAfter:\n\n" ++ showSDoc ( ppr expr'')) $ return ()
526       return expr''
527
528 -- | Get the value that is bound to the given binder at top level. Fails when
529 --   there is no such binding.
530 getBinding ::
531   CoreBndr -- ^ The binder to get the expression for
532   -> TranslatorSession CoreExpr -- ^ The value bound to the binder
533
534 getBinding bndr = Utils.makeCached bndr tsBindings $ do
535   -- If the binding isn't in the "cache" (bindings map), then we can't create
536   -- it out of thin air, so return an error.
537   error $ "Normalize.getBinding: Unknown function requested: " ++ show bndr